Falcon Mamba 7B
技

Falcon Mamba 7B

基于纯 Mamba 状态空间架构的 7B 开源大模型

技术创新研究院(TII)· 2024-07-17 发布 ·2024-07-17 开放使用 ·语言模型 ·开源 ·falcon-mamba 系列

技术创新研究院(TII) 于 2024-07-17 TII 开源 7B 级纯状态空间模型 Falcon Mamba 7B。

关键参数

参数量
7B
预训练词元量
5.5万亿

来源