开源混合专家模型 DBRX

Databricks 正式发布并开源全新架构的大语言模型 DBRX，采用 16 专家中激活 4 个的细粒度 MoE 结构，总参数 132B，激活参数 36B，并在 12 万亿 token 上完成预训练。