NVLM-D-72B 是什么：英伟达看图之后文本能力反而变强的模型

它是什么

NVLM-D-72B 是英伟达在 2024 年 9 月发布的开源多模态大模型，属于 NVLM 1.0 家族，参数约 72B，语言部分基于 Qwen2-72B-Instruct。论文标题是《NVLM：开放的前沿级多模态大模型》。论文称，NVLM 1.0 在视觉语言任务上达到了当时最好的水平，可以和 GPT-4o 这样的头部闭源模型，以及 Llama 3-V 405B、InternVL 2 这样的开放模型竞争。名字里的 D 代表 decoder-only（纯解码器）架构，英伟达开源的就是这个版本。

最特别的一点：文本能力没有退步

多模态模型有一个常见的问题：在大量图文数据上训练以后，纯文本能力会下降，看图变强了，写代码、做数学反而变差。NVLM 1.0 的一个重要发现是，经过多模态训练后，它的纯文本表现比它的语言基座模型还要好。论文把这归功于训练数据的精心配比：在多模态训练阶段混入了高质量的纯文本数据，包括数学和代码数据，让模型在学会看图的同时，文本能力不仅没丢，还有提升。

架构上的比较

论文做了一项很有价值的系统比较：一类是 LLaVA 那样的纯解码器多模态模型，把图像特征直接当作 token 拼进语言模型；另一类是 Flamingo 那样基于交叉注意力的模型，让语言模型通过额外的注意力层去“看”图像。两者各有优缺点：前者推理能力强，但高分辨率图像会产生大量 token；后者计算效率高，但多模态推理稍弱。NVLM 家族因此有 D（解码器）、X（交叉注意力）和 H（混合）三种架构，论文提出的混合设计兼顾了训练效率和推理能力。

1-D tile-tagging

处理高分辨率图片时，常见做法是把图切成若干块（tile）分别编码。NVLM 提出了一维的 tile 标记设计：给每一块图像的 token 前面加上文字标签，告诉模型这是第几块、在什么位置。这个看似简单的设计，显著提升了多模态推理和 OCR 相关任务的表现，因为模型能更好地理解各块之间的空间关系。

适合谁

研究多模态模型架构和训练配方的研究者，NVLM 的论文是很好的参考资料，尤其是“多模态训练不损伤文本能力”的数据经验。需要自托管强多模态模型的团队可以评估它，但 72B 的规模部署门槛较高。AI 主线的看法是：NVLM 的贡献不只是一个开源模型，更是把不同架构的取舍和数据配方讲清楚了，这对整个开源社区都很有帮助。