开源混合架构大模型 Jamba

AI21 Labs 发布并开源混合架构大模型 Jamba，宣称开创性地将 Mamba 状态空间模型与 Transformer 及 MoE 专家机制融合，原生支持 256K 上下文。