Pixtral 12B 是什么：能看多图的开放权重模型

先说它是什么

Pixtral 12B 是法国公司 Mistral AI 在2024年9月推出的视觉语言模型，官方公告页的日期是9月17日，权重9月11日就已经放出。官方把它称作 Mistral 的首款多模态模型：此前 Mistral 的模型只处理文字，这一款能同时读图和读文字，输出仍是文字，不生成图片。许可证是 Apache 2.0，权重能下载、微调和商用。

一句话概括，它是原生支持多图理解的 12B 开放权重模型，主打读图表、文档、截图和自然图片。AI主线 的看法是，看图在当时已经不稀奇，它值得一说的是“12B 体量加宽松许可再加任意张数的图”这个组合，对想自己部署的人很对路。

关键规格：文字底子外挂视觉编码器

架构分两块。一块是 400M 参数的视觉编码器，名叫 Pixtral-ViT，从零训练；另一块是 12B 参数的多模态解码器，基于 Mistral Nemo 12B。打个比方，视觉编码器像一位专职翻译，把图片翻成一串 token，再交给 Nemo 这个文字底子去理解和作答。官方说它可以直接替换 Nemo 12B 来用，文字能力没有为了看图让路。

图像的处理方式是它的特色。图片不会被压成固定尺寸，而是按原始分辨率和长宽比送进编码器，每 16×16 像素切成一块，一块对应一个 token，行与行之间插入 [IMG BREAK]，图末尾加 [IMG END]。技术报告说这套编码用了 RoPE-2D 位置编码。落到使用上就是：图标、公式截图这类小图又快又省，大图表和整页文档能保住细节，代价是 token 数跟着涨。按这个口径粗算，一张 1024×1024 的图要用 4000 多个 token。

上下文窗口是 128K，官方说窗口里可以放任意数量、任意尺寸的图，对比几张报表或翻一份扫描件都装得下。输入是文字和图片，输出是文字。知识截止时间官方没有公布，训练用了哪些图像数据也没披露，做合规评估的人要留心。

成绩怎么读

官方公告里的跑分表，是 Mistral 自己用同一套评测流程重新测的，并非各家论文里的原数字。挑三项：多模态推理 MMMU 是 52.5，图表问答 ChartQA 是 81.8，文档问答 DocVQA 是 90.7。同一张表里，Claude 3 Haiku 的 MMMU 是 50.4，ChartQA 是 69.6；Gemini 1.5 Flash 8B 分别是 50.7 和 78.0；GPT-4o 的 MMMU 是 68.6。

怎么读这组数：同档小模型里，Pixtral 12B 在图表理解和多模态推理上占得到便宜；跟 GPT-4o、Claude 3.5 Sonnet 这类大模型比，MMMU 还差十五六分。指令遵循方面，官方说它在文字版 IF-Eval 和 MT-Bench 上，比分数相近的开源模型相对提升约 20%。官方还自己出了一套多模态多轮测试 MM-MT-Bench，共 92 组对话，覆盖图表、表格、PDF 页面和示意图，技术报告称它与 LMSys 视觉榜 ELO 的相关系数是 0.91。自己出题自己考，参考时留个心眼。

怎么用，多少钱

先把现状说清楚：Mistral 官方文档里，Pixtral 12B 已被标为弃用，弃用日期是2025年12月2日，并建议新项目改用 Ministral 3 14B；第三方整理的 Mistral 弃用清单里，pixtral-12b-2409 这个 API 名称也已列为退役。所以今天想靠官方 API 调它，基本不现实，更实际的路是用开放权重自己跑。

它还在服务的时候，用法有三种：在 Le Chat 里选模型上传图片，官方说当时可以免费体验；在 La Plateforme 用 pixtral-12b-2409 调用；或者从 Hugging Face 下载 Pixtral-12B-2409 的权重本地部署，官方示例用的是 mistral-inference 和 vLLM，并推荐 vLLM 来拿更高的吞吐。API 价格按官方2024年9月的调价公告，输入和输出都是每百万 token 0.15 美元，图片也按 token 计费，粗算一张 1024×1024 的图不到千分之一美元。本地部署的话，权重文件大约 24GB，光放权重就快把 24GB 显存的卡占满了，还要给长上下文和图像 token 留空间，所以要么上更大显存，要么自己做量化取舍。

和谁比

先看底座 Mistral Nemo 12B：Nemo 只管文字，Pixtral 是在同一个 12B 解码器上接了视觉能力，官方说文字类基准没有因此退步，这是官方自测的结论。

再看同档对手 Qwen2-VL 7B。在 Mistral 那张表里，Pixtral 12B 的 MMMU 是 52.5，Qwen2-VL 7B 是 47.6；MathVista 是 58.0 对 54.4；但 DocVQA 上 Qwen2-VL 7B 是 94.5，反过来高过 Pixtral 的 90.7。也就是说，纯文档问答这边 Qwen 分数更高，多模态推理是 Pixtral 占优。论文还称，在 MM-MT-Bench 上它超过了 Llama-3.2 90B，体量只有后者约七分之一。再往大看，LLaVA-OV 72B 的 MMMU 是 54.4，VQAv2 是 83.8，都高过 Pixtral，但 ChartQA 只有 66.9，低于 Pixtral 的 81.8。

适合谁，有哪些坑

写代码的人可以拿它试截图转页面，官方演示里有一个根据网页截图生成 HTML 的例子，但那只是演示，复杂页面还得自己多验。做内容的人适合拿来读图表、表格和扫描件、做图文问答，它输出的是文字，要出图得另找模型。搞选型的人看三点：许可证干净，Apache 2.0 能自托管；官方已弃用，别把线上业务绑在 API 上；训练数据没披露，对数据来源有要求的团队要自己评估。

几个坑一起说：跑分是厂商自测，换提示词分数会变；大图 token 多，成本和延迟都要算；视觉模型这两年换代很快，新项目建议直接去看官方推荐的 Ministral 3 14B。AI主线 的态度是，把 Pixtral 12B 当成一个节点来读更合适：它让“小尺寸开放权重模型原生读多图”这条路走通了，今天更适合拿它当参照物，而不是直接上线的选项。