D

DBRX Instruct

高性能开源 MoE 指令微调大模型

Databricks· 2024-03-27 发布 ·2024-03-27 开放使用 ·语言模型 ·开源 ·DBRX 系列

Databricks 于 2024-03-27 Databricks 开源细粒度混合专家大模型 DBRX。

关键参数

总参数量: 132B
激活参数量: 36B
上下文窗口: 32K

同次发布

来源

官方公告 ↗Databricks 开源细粒度混合专家大模型 DBRX ↗

Databricks 的其他模型

DBRX Base2024-03-27 MPT-30B2023-06-22 MPT-7B2023-05-05