Jamba
A

Jamba

Mamba 与 Transformer 混合架构大模型

AI21 Labs· 2024-03-28 发布 ·2024-03-28 开放使用 ·语言模型 ·开源 ·Jamba 系列

AI21 Labs 于 2024-03-28 AI21 Labs 发布并开源混合架构大模型 Jamba。

关键参数

总参数量
52B
激活参数量
12B
上下文窗口
256K

来源