多模态学习是什么？让 AI 同时理解文字、图像、声音等多种信息

多模态学习（Multimodal Learning）是指让机器学习模型能够同时处理、理解和关联多种不同类型的数据的研究方向。这里的“模态”指的是信息的不同形式，比如文字、图像、声音、视频，以及深度信息、传感器数据等。

为什么需要多模态

人类认识世界本身就是多模态的：我们看到一只狗，听到它的叫声，摸到它的毛，读到“狗”这个字，这些不同的感官信息在大脑中被联系在一起，形成对“狗”这个概念的完整理解。很多任务也天然地涉及多种信息：看懂一部电影需要结合画面、对白和配乐；医生诊断疾病需要结合医学影像、化验报告和病人的描述；自动驾驶汽车需要融合摄像头、激光雷达、雷达等多种传感器的数据。只处理单一模态的模型，往往无法完成这些任务，或者效果有限。不同的模态之间还可以相互补充：在嘈杂的环境中，看说话人的嘴型可以帮助听清他在说什么。

多模态学习的核心问题

卡内基梅隆大学的 Louis-Philippe Morency 等研究者把多模态学习的核心挑战概括为几个方面。表示：如何把不同模态的数据表示成模型能够处理的形式，常见的做法是把它们都映射到一个共同的向量空间中，让“一张狗的图片”和“一只狗”这句话的表示彼此靠近。对齐：如何找出不同模态中相互对应的部分，比如视频中的某个画面对应着字幕中的哪句话，图片中的哪个区域对应着描述中的哪个词。融合：如何把来自不同模态的信息结合起来进行预测，可以在早期把原始特征拼接在一起，也可以在后期把各个模态分别得出的结果组合起来，或者在模型的中间层通过注意力机制让它们相互交流。转换：如何把一种模态的信息转换成另一种模态，比如根据图片生成文字描述、根据文字生成图片、把语音转写成文字。协同学习：如何利用一种模态中丰富的信息，帮助另一种模态的学习。

重要的进展

CLIP：2021 年，OpenAI 发布了 CLIP 模型，它在从互联网上收集的约四亿对图片和文字说明上，通过对比学习的方式训练，学会了把图片和与之匹配的文字映射到同一个向量空间中。CLIP 展现了强大的零样本图像分类能力，并成为后来很多文生图模型的重要组件。文生图模型：DALL-E、Stable Diffusion、Midjourney 等模型能够根据文字描述生成高质量的图片，后来又发展出了根据文字生成视频的模型。多模态大模型：从 2023 年起，GPT-4V、Gemini、Claude 等大模型具备了理解图片的能力，可以回答关于图片的问题、读懂图表和截图。GPT-4o、Gemini 等模型被设计为原生的多模态模型，在一个模型中统一处理文字、图像和声音，能够进行实时的语音对话。国内的通义千问、文心、豆包等也都推出了多模态的版本。

应用和挑战

多模态学习被广泛用于：看图问答和图片理解，比如识别商品、解读图表、辅助视障人士了解周围的环境；图像和视频的内容审核与检索；医学影像与病历的综合分析；自动驾驶中的多传感器融合；智能客服和语音助手；以及机器人，需要结合视觉、语言和动作来完成任务。多模态学习也面临不少挑战：不同模态的数据格式和特点差异很大，难以统一处理；高质量的、对齐的多模态数据难以获取；模型可能过度依赖其中某一种模态而忽视其他模态；多模态模型也存在“幻觉”的问题，比如描述图片中实际上并不存在的东西。