Zamba-7B
Z

Zamba-7B

Mamba 与共享注意力混合架构模型

Zyphra· 2024-05-27 发布 ·2024-05-27 开放使用 ·语言模型 ·开源 ·Zamba 系列

Zyphra 于 2024-05-27 Zyphra 开源 Zamba-7B 紧凑型状态空间混合模型。

关键参数

参数量
7B
网络架构
Mamba+Attention
训练Token量
1T

来源