开源紧凑型混合模型 Zamba-7B
Zyphra 正式开源 Zamba 7B 紧凑型状态空间模型(SSM)与 Transformer 混合架构大模型,结合 Mamba 主干与单共享注意力模块,提供高效长文本生成能力。
- 公告日期
- 2024-05-27
- 开放使用日期
- 与公告日期相同
- 厂商
- Zyphra
- 模态
- 语言
- 核实状态
- 已核实
Zyphra 正式开源 Zamba 7B 紧凑型状态空间模型(SSM)与 Transformer 混合架构大模型,结合 Mamba 主干与单共享注意力模块,提供高效长文本生成能力。