Mixtral 8x22B
基于稀疏混合专家架构的大规模开源语言模型，具有极高的推理成本效益。
Mistral AI 于 2024-04-17 Mistral AI 发布开源混合专家大模型 Mixtral 8x22B。
关键参数
- MoE 架构
- 8x22B (激活 39B)
- 上下文长度
- 64k
Mixtral 8x22B
基于稀疏混合专家架构的大规模开源语言模型，具有极高的推理成本效益。
Mistral AI 于 2024-04-17 Mistral AI 发布开源混合专家大模型 Mixtral 8x22B。