Molmo 72B 是什么：不靠闭源模型蒸馏的开放视觉模型

它是什么

Molmo 72B 是艾伦人工智能研究所（Ai2）在 2024 年 9 月 25 日发布的开放视觉语言模型，基于 Qwen2-72B 训练，模型仓库是 allenai/Molmo-72B-0924，许可证是 Apache 2.0。它是 Molmo 家族里最大的一个，家族里还有更小的版本。和它一起发布的，还有一整套名为 PixMo 的训练数据集。

它要解决的问题

论文指出了当时开源社区的一个尴尬：最先进的视觉语言模型都是闭源的，而效果最好的开放权重模型，很大程度上依赖闭源模型生成的合成数据，等于是把闭源模型“蒸馏”进开源模型。这样一来，社区其实并不知道怎么从零开始训练出一个好的视觉语言模型。Molmo 的目标就是补上这块知识：所有训练数据都不借助任何外部视觉语言模型来生成。

PixMo 数据集

PixMo 是这项工作的核心贡献，包括三部分：用于预训练的高度详细的图像描述数据集，用于微调的自由形式图像问答数据集，以及一个创新的二维“指点”数据集。为了得到详细描述，Ai2 让标注员用说话的方式描述图片，而不是打字，这样描述更长、更细，也避免了标注员偷懒用其他 AI 代写。论文强调，成功的关键在于精心的模型设计、调优良好的训练流程，以及这些新数据集的质量。

会“指”的模型

Molmo 一个很有特色的能力是指点（pointing）：你问“图里有几个人”，它不只回答数字，还能在图上逐个点出每个人的位置。这种能力对机器人、网页操作智能体特别有用，因为它们需要知道要去“点”哪里，而不只是描述画面。

成绩和适合谁

论文称 Molmo 72B 在同等开放程度的模型里达到了最好水平，在学术基准和人工评估中超过了多个闭源模型，仅次于当时的 GPT-4o。它适合研究多模态模型的团队，特别是关心数据来源和可复现性的研究者；做机器人、视觉定位、界面操作智能体的开发者，指点能力很实用。72B 的规模部署门槛不低，资源有限可以选家族里的小版本。AI 主线的看法是：Molmo 证明了不靠蒸馏闭源模型也能训出一流的视觉模型，PixMo 数据集的开放对整个社区的价值可能比模型本身更长远。