MiniCPM MoE 8x2B
基于 MoE 架构的高效混合专家模型
面壁智能 OpenBMB 于 2024-04-11 OpenBMB 发布 MiniCPM-MoE-8x2B 与 MiniCPM-2B-128k 长文本版本。
关键参数
- 架构
- 8x2B
- 激活参数量
- 4B
MiniCPM MoE 8x2B
基于 MoE 架构的高效混合专家模型
面壁智能 OpenBMB 于 2024-04-11 OpenBMB 发布 MiniCPM-MoE-8x2B 与 MiniCPM-2B-128k 长文本版本。