技

Falcon 40B

基于 RefinedWeb 预训练的 40B 自回归开源大模型

技术创新研究院(TII)· 2023-05-24 发布 ·2023-05-24 开放使用 ·语言模型 ·开源 ·falcon 系列

技术创新研究院(TII) 于 2023-05-24 TII 开源发布 Falcon-40B 基础大语言模型。

关键参数

参数量: 40B
预训练词元量: 1000B

来源

官方公告 ↗TII 开源发布 Falcon-40B 基础大语言模型 ↗

技术创新研究院(TII) 的其他模型

Falcon 3 10B Base2024-12-03 Falcon Mamba 7B2024-07-17 Falcon 2 11B2024-05-09 Falcon 180B2023-09-06