DBRX Base
D

DBRX Base

132B 细粒度 MoE 基座大模型

Databricks· 2024-03-27 发布 ·2024-03-27 开放使用 ·语言模型 ·开源 ·DBRX 系列

Databricks 于 2024-03-27 Databricks 开源细粒度混合专家大模型 DBRX。

关键参数

总参数量
132B
激活参数量
36B
训练Token量
12T
上下文窗口
32K

同次发布

来源