视觉语言模型 VLM 是什么？能同时看图和读文字的 AI

视觉语言模型（Vision-Language Model，VLM）是能同时理解图像（或视频）和文字的 AI 模型。你可以发给它一张图片并提问：“这张发票的总金额是多少？”“这道菜怎么做？”“图里这个零件装反了吗？”它能结合画面内容和你的问题给出回答。看图描述、视觉问答、图文检索、截图理解、文档和图表分析，都是 VLM 的典型任务。GPT-4o、Gemini、Claude、Qwen-VL 等主流大模型都具备视觉语言能力。

典型结构：三层流水线

大多数 VLM 的结构可以分成三部分。第一是视觉编码器，常用的是视觉 Transformer（ViT），它把输入的图片切成小块，转换成一组抽象的视觉特征向量。第二是投影层，可以是简单的线性层，也可以是更复杂的 Q-Former 等结构，它负责把视觉特征“翻译”到语言模型能理解的语义空间里，让图像特征和文字 token 对齐。第三是大语言模型，它接收对齐后的视觉特征和用户的文字指令，像处理文字一样统一进行理解、推理和生成回答。

这种结构的好处是可以充分利用已经训练好的强大视觉编码器和语言模型，只需要训练连接它们的部分和少量微调。LLaVA 等开源模型让这种方案广为流行。也有一些模型采用原生多模态的方式，从预训练开始就把图像和文字一起训练。

关键能力的演进

早期的 VLM 只能处理低分辨率的图片，看不清小字。后来的模型支持动态分辨率，把大图切成多块分别处理，OCR 和文档理解能力大幅提升。视频理解、多图对比、在图上指出物体位置（视觉定位）、根据截图操作电脑界面，也逐渐成为主流 VLM 的能力。

局限

VLM 仍然会“看错”或编造图中不存在的细节（视觉幻觉），对精确计数、复杂的空间关系、细小的文字和专业图表的理解也可能出错。在医疗、工业质检等高要求场景，需要结合专门的模型和人工复核。