Pixtral 12B 是什么：Mistral 首个多模态开源模型

它是什么

Pixtral 12B 是 Mistral AI 在 2024 年 9 月 17 日发布的多模态视觉语言模型，也是 Mistral 第一个能看图的开源模型，API 型号是 pixtral-12b-2409，许可证是 Apache 2.0。它由两部分组成：一个从零训练的 400M 参数视觉编码器，加上一个基于 Mistral Nemo 的 12B 多模态解码器。训练时使用了图文交错的数据，属于原生多模态。目前官方已标记它为弃用状态，不再维护，由 Mistral 更新的视觉模型接替。

它的几个特点

第一是任意分辨率：Pixtral 可以按图片的原始分辨率和宽高比读入，不用先统一缩放成固定尺寸。好处是用户可以自己权衡：图小、要快，就用少一点 token；看细节、读小字，就给高分辨率。第二是多图输入：在 128K 的上下文窗口里可以放任意多张图片，适合对比多张图、阅读多页文档。第三是不牺牲文本能力：官方强调，很多开源多模态模型为了看图会让纯文本能力退步，Pixtral 在纯文本基准上保持了原来的水平，可以直接替换 Mistral Nemo 12B 使用。

成绩怎么样

官方公布 Pixtral 12B 在 MMMU 多模态推理基准上得分 52.5%，超过了一些参数更大的模型。它在图表理解、文档问答、多模态推理和指令遵循上表现都不错，既能看自然照片，也能读文档。按 2024 年下半年的标准，这是 12B 这个量级里很有竞争力的成绩。

适合谁

需要一个许可宽松、可以商用、单卡能跑的多模态模型的开发者，在 2024 年它是很好的选择；做文档理解、图表问答、截图分析的应用都能用上。如今官方已停止维护，新项目建议直接选 Mistral 更新的视觉模型或其他新一代多模态模型，老项目可以继续用，但不会再有更新。AI 主线的看法是：Pixtral 12B 是 Mistral 进入多模态的第一步，它坚持“看图不牺牲文本能力”和“按原始分辨率读图”，这两点后来成了很多多模态模型的标配。