Phi-3.5-MoE
微

Phi-3.5-MoE

采用 16 专家路由仅激活 66 亿参数的高效开源架构模型。

微软· 2024-08-20 发布 ·语言模型 ·开源 ·Phi 系列

微软 于 2024-08-20 开源混合专家架构模型 Phi-3.5-MoE。

关键参数

参数量构成
16x3.8B (6.6B 激活)
上下文窗口
128K

来源