模态生成器是什么？多模态大模型里负责输出图像和声音的组件

模态生成器（Modality Generator，MG）是多模态学习系统中负责生成不同模态输出的关键组件，它的主要作用是生成文字以外的内容，比如图像、视频或音频。这个术语常出现在对多模态大语言模型（MM-LLM）架构的综述和研究中。

多模态大模型的五个部分

一种常见的多模态大模型架构，可以分成五个组成部分。模态编码器（Modality Encoder，ME）：把图片、音频、视频等输入转换成特征，比如用视觉 Transformer 编码图像、用音频编码器编码声音。输入投影器（Input Projector）：把编码器输出的特征转换到大语言模型能理解的表示空间中，和文字的表示对齐。大语言模型主干（LLM Backbone）：整个系统的“大脑”，负责理解多模态的输入、进行推理，并决定输出什么。输出投影器（Output Projector）：如果需要输出图像、音频等非文本内容，就把大语言模型输出的特殊表示，转换成生成器能理解的条件信号。模态生成器：根据这些条件信号，实际生成出图像、视频或音频。

只能“看懂”多模态内容、但只输出文字的模型，比如很多视觉问答模型，只需要前三个部分。而要让模型既能理解又能生成多种模态的内容，比如“根据这段描述画一张图”“给这段视频配上背景音乐”，就需要输出投影器和模态生成器。

常用的生成器

模态生成器通常使用现成的、预训练好的生成模型。生成图像常用 Stable Diffusion 等潜空间扩散模型；生成视频常用视频扩散模型；生成音频则用 AudioLDM 等音频生成模型。在这类架构中，大语言模型输出的不是像素或波形，而是一组表示“要生成什么”的向量，经过输出投影器转换后，作为扩散模型的条件输入，替代原本由文字编码器提供的条件。训练时，往往只需要训练投影器等少量的参数，让大语言模型的输出和生成器的条件空间对齐，而模态生成器本身通常保持冻结。NExT-GPT 等研究就采用了这种设计，实现了文本、图像、视频、音频之间任意的输入和输出组合。

另一条路线

除了这种“大语言模型加外接生成器”的组合式设计，还有一条原生多模态的路线：把图像、音频也变成离散的 token，由同一个模型直接生成，不需要单独的模态生成器，比如 Meta 的 Chameleon，以及很多新一代能原生生成图像的大模型。两种路线各有优劣，前者可以复用强大的现成生成模型、训练成本低，后者更统一、各模态之间的融合更紧密。