多模态大语言模型 MLLM 是什么？能看、能听、能说的大模型

多模态大语言模型（Multimodal Large Language Models，MLLM）是能够处理多种类型信息的大语言模型。它不再局限于文字，还能理解图像、音频、视频等多种模态的内容，有的还能生成这些内容。你可以给它发一张照片问“这道菜怎么做”，发一段录音让它总结，发一张图表让它分析数据。GPT-4o、Gemini、Claude、Qwen-VL、InternVL 等主流模型都具备多模态能力。

为什么需要多模态

人类认识世界本来就是多模态的：我们同时用眼睛看、用耳朵听、用语言交流。很多信息只靠文字是无法完整表达的：一张产品照片、一段视频里的动作、一个人说话时的语气。只能处理文字的大模型，就像一个只能读信、却看不见也听不见的人。多模态大模型把大语言模型强大的理解、推理和生成能力，扩展到了文字之外的世界，让 AI 能更自然、更全面地理解和交互。

基本结构

一种常见的多模态大模型结构由几部分组成：模态编码器，把图像、音频等非文字的输入转换成特征，比如用视觉 Transformer 编码图像、用音频编码器编码声音；对齐模块（投影层），把这些特征转换成大语言模型能够理解的形式，和文字的表示对齐；大语言模型，作为核心的“大脑”，统一地理解多种模态的信息，进行推理并生成回答。如果需要生成图像或音频，还会接上专门的生成模块。另一种思路是原生多模态：从预训练开始就把各种模态的数据混在一起训练，让模型从一开始就学会统一地处理它们，GPT-4o 等模型被认为采用了更原生的多模态设计，能直接理解和生成语音。

训练通常分阶段进行：先用大量的图文配对数据，让模型学会把视觉信息和语言对应起来；再用高质量的多模态指令数据进行微调，让模型学会按照人的指令完成各种多模态任务。

能做什么

多模态大模型的应用非常广泛：看图问答和图像描述；文档、表格、图表的理解和分析，比如读懂发票、合同和财务报表；识别图片中的文字；视频内容的理解和总结；实时的语音对话，包括理解语气和情绪；帮助视障人士描述周围的环境；根据截图操作电脑和手机的智能体；以及医疗影像辅助分析、工业质检、自动驾驶中的场景理解等专业领域的应用。

挑战

多模态大模型仍然面临一些挑战：视觉幻觉，描述图像中并不存在的内容；对精细细节、精确计数和复杂空间关系的理解还不够可靠；处理长视频和高分辨率图像时计算成本很高；以及多模态内容带来的新的安全风险，比如藏在图片中的恶意指令。