DeepSeek-V2
以 Multi-head Latent Attention 与细粒度 MoE 降低训练和推理成本。
DeepSeek-V2 证明高效稀疏架构可以在开放权重路线中形成成本与能力的双重竞争力。
关键参数
- 上下文窗口
- 128K
- 总参数
- 236B
- 架构
- MoE
- 许可证
- DeepSeek License
版本谱系
变更历史
- 开放权重DeepSeek-V2 发布模型权重与技术报告。原文 ↗
DeepSeek-V2
以 Multi-head Latent Attention 与细粒度 MoE 降低训练和推理成本。
DeepSeek-V2 证明高效稀疏架构可以在开放权重路线中形成成本与能力的双重竞争力。