OLMo 2 7B 是什么：训练数据也全公开的 7B 开放模型

它是什么：连训练数据都能下载的 7B 模型

OLMo 2 7B 是非营利研究机构 Ai2 在 2024 年 11 月 26 日发布的 70 亿参数开放语言模型，权重、训练数据、训练代码和中间检查点全部公开。它是 OLMo 系列的第二代，同日发布的还有 13B 版本。库里登记的 allenai/OLMo-2-1124-7B-Instruct 是指令版在 Hugging Face 上的仓库名，基础版叫 allenai/OLMo-2-1124-7B。

“开放”两个字在圈子里水分不小。Ai2 自己分了三档：只放最终权重的开放权重模型，权重加大部分数据的半开放模型，权重、数据、代码、评测全放出来的全开放模型。OLMo 2 属于第三档，官方说训练日志和数以千计的中间检查点也一并放出，比只给权重的模型多出一大截。

关键规格：上下文只有 4096，先看这一行

模型卡给的结构是 32 层，隐藏维度 4096，32 个注意力头，上下文长度 4096 token。这个量够聊天问答，丢一份长合同或半个代码仓库进去就装不下了。语言以英语为主，许可证是 Apache 2.0，权重直接下载，不用申请。

训练分两段。前一段用 OLMo-Mix-1124，语料来自 DCLM、Dolma、StarCoder 和 Proof Pile II，7B 版跑了约一个 epoch，模型卡标的训练量是 4T token。后一段就是库里登记的 Dolmino Mix：官方从 843B token 的池子里抽出 50B token 的混合，一半是过滤过的高质量网页，一半是学术内容、问答论坛、指令数据和数学习题；7B 按不同数据顺序训了三份，再用“模型汤”的办法把权重合并成最终版本。架构上换成 RMSNorm，加了 QK-Norm 和旋转位置编码，目的是让长时间训练少出 loss 尖峰，说明这一代的力气花在训练稳定性上，而不是堆新花样。

指令版走 Ai2 的 Tülu 3 配方：先监督微调，再做 DPO 偏好优化，最后用可验证奖励的强化学习（RLVR），也就是拿数学题这类能自动判对错的任务当奖励。官方说这一步让 GSM8K 和 MATH 的成绩稳定提升。

能力和成绩：应用题不差，知识和难题偏弱

先看基础模型。官方在自家的 OLMES 套件上跑了十项任务，说 OLMo 2 7B 的平均分超过 Llama 3.1 8B，13B 超过 Qwen 2.5 7B，训练算力还更少。模型卡里 7B 基础版平均 62.9，MMLU 63.7，GSM8K 67.5。官方也坦白，那几项“没见过”的评测，没法保证别家模型没见过，所以这些数字要当作 Ai2 自己的测法来看。

再看指令版。同一张模型卡表格里，OLMo 2 7B Instruct 平均 54.8，Llama 3.1 8B Instruct 是 58.9，Qwen 2.5 7B Instruct 是 57.1。拆开看，GSM8K 三家接近，分别是 85.1、83.4 和 83.8；IFEval 是 72.3、80.6 和 74.7；MMLU 是 61.3、71.3 和 76.6；MATH 是 32.5、42.5 和 69.9，差距拉得很开。小学数学应用题没问题，知识面和难一点的数学，它弱一截。

怎么用，多少钱

最直接的路子是去 Hugging Face 下权重，用 transformers 的 AutoModelForCausalLM 加载，模型卡有现成示例，也给了 bitsandbytes 做 8 位量化的写法。Ai2 的在线 Playground 是免费的研究演示，官方博客推荐试玩的是 13B Instruct，不是 7B。

官方没有给 7B 标 API 价格，博客页面上的 API 入口，指向的是同系列 32B 在第三方平台的页面。所以本地部署是主流用法，成本就是显卡和电费。按 7B 参数、半精度每个参数两字节粗算，光权重就要 14 到 15GB，上下文缓存还得另占显存，显存紧就上 8 位量化，权重能压到一半左右。

和谁比：上一代、同档对手、后来者

对上一代，官方说各项任务比 OLMo-0424 都有明显提升，模型卡写的是 MMLU 比最初的 OLMo 7B 高 9 分。对同档对手，上面的数字已经摊开：应用题打平，知识类和难题落后。Llama 和 Qwen 被 Ai2 归在开放权重一档，训练数据和配方基本看不到；OLMo 2 少拿几分，换来的是每一步都能查。

家族里 7B 也不是终点。同代 13B Instruct 平均 62.0，高出 7B 一截；2025 年 3 月的 32B，官方说在一套多技能学术基准上超过了 GPT-3.5 Turbo 和 GPT-4o mini。2025 年 11 月 Ai2 又发了 Olmo 3，有 7B 和 32B，上下文约 6.5 万 token，Instruct 版主打指令遵循、多轮对话和工具调用。AI主线 的看法很直接：只想要一个好用的 7B，直接看 Olmo 3 更省事，OLMo 2 7B 的价值在别处。

适合谁，有什么坑

做研究和教学的人值得试。数据、代码、日志、检查点齐全，想弄清训练稳定性、数据配比、后训练配方怎么影响结果，这是少见能把整条链路摸一遍的 7B，技术报告《2 OLMo 2 Furious》在 2024 年 12 月底挂上了 arXiv。要做数据溯源、合规审查的团队，数据可查这一点也用得上。

写代码的别抱太高期待：前期语料里有 StarCoder 的代码数据，但官方公布的那组基准里没有代码类项目，再加上 4096 的上下文，读长文件会吃力。做内容的要留意它以英语为主，中文场景得自己评估。搞选型的，如果要找线上主力模型，这个上下文和能力档位多半不够，官方也把它定位在研究和教育用途。

还有一个合规上的坑。后训练系列的模型卡提示，微调数据混合里含第三方模型生成的输出，需遵守附加条款，点名的是 Gemma 使用条款。AI主线 的看法是，开放模型的许可证别只看标题那一行，商用前把模型卡完整读一遍。