DeepSeekMoE 16B
采用细粒度专家切分与共享专家隔离的 16.4B MoE，公开 Base 与 Chat 权重。
DeepSeekMoE 是 V2 之前验证高效稀疏专家路线的关键中间节点。
关键参数
- 上下文窗口
- 4K
- 总参数
- 16.4B
- 架构
- MoE
- 许可证
- DeepSeek Model License
变更历史
- 开放权重DeepSeekMoE 16B 公开发布，以细粒度专家和共享专家隔离探索高效 MoE。原文 ↗
DeepSeekMoE 16B
采用细粒度专家切分与共享专家隔离的 16.4B MoE，公开 Base 与 Chat 权重。
DeepSeekMoE 是 V2 之前验证高效稀疏专家路线的关键中间节点。