Mistral Large 2 是什么：单机就能跑的 123B 旗舰模型

它是什么

Mistral Large 2 是 Mistral AI 在 2024 年 7 月 24 日发布的旗舰语言模型，API 型号是 mistral-large-2407，参数 123B，上下文窗口 128K。它支持数十种自然语言，包括法语、德语、西班牙语、意大利语、葡萄牙语、阿拉伯语、印地语、俄语、中文、日语和韩语，以及 Python、Java、C、C++、JavaScript、Bash 等 80 多种编程语言。发布时间正好在 Meta 发布 Llama 3.1 405B 的第二天，两者经常被放在一起比较。

为什么是 123B

官方说 Mistral Large 2 是为单节点推理设计的，同时考虑了长上下文应用：123B 的规模能在一台服务器上以较高吞吐运行，不需要跨机器拆分。这是一个很务实的取舍：比 405B 级别的模型小得多，部署和服务成本低很多，效果又能保持在第一梯队附近。官方强调它在性能和服务成本的比值上树立了新标准，预训练版本在 MMLU 上得分 84.0%，在开放模型的性能与成本帕累托前沿上占了一个新位置。

代码和推理

基于 Codestral 的经验，Mistral Large 2 的训练数据里有很大比例的代码，代码能力明显优于上一代 Mistral Large，官方称在代码基准上和当时的头部模型表现相当。官方还专门做了减少幻觉的训练，让模型在不确定时更倾向于承认不知道，而不是编造答案；同时改进了指令遵循、多轮对话和函数调用能力，方便用来搭建智能体应用。

许可要看清

Mistral Large 2 的权重以 Mistral Research License 发布，允许研究和非商业用途的使用与修改；如果要商业化地自行部署，需要向 Mistral 购买商业许可。通过 Mistral 的 la Plateforme API 或各大云平台调用则按量付费，不受这个限制。

适合谁

2024 年下半年，它是需要多语言、强代码能力、又希望能私有部署的企业的热门选择，尤其是对数据主权敏感的欧洲客户。研究者可以在研究许可下拿权重做实验。如今 Mistral 已推出更新的 Large 版本，新项目建议直接看最新一代。AI 主线的看法是：Mistral Large 2 的思路是“不追最大，追最划算”，单节点能跑的旗舰模型，对真正要部署的团队来说比参数规模更有意义。