MoMa 是什么？Meta 按模态分组专家的早期融合多模态架构

MoMa（Mixture of Modality-Aware Experts，模态感知专家混合）是一种用于多模态大模型预训练的混合专家架构，由 Meta 在 2024 年提出，论文标题是《MoMa：基于模态感知专家混合的高效早期融合预训练》。它专为预训练混合模态、早期融合的语言模型而设计。

背景：早期融合的多模态模型

多模态模型有两种常见的构建方式。一种是“后期融合”：分别用视觉模型处理图像、用语言模型处理文字，再把两者的结果拼接起来。另一种是“早期融合”：把图像也转换成一系列离散的 token，和文字 token 混在一起，从一开始就用同一个 Transformer 统一处理，任意交错的图文序列都能处理，也能生成图文混合的内容。Meta 的 Chameleon 模型就是早期融合的代表。早期融合更统一、更灵活，但训练成本很高：同一套参数要同时学会处理特性差异很大的图像 token 和文字 token。

MoMa 怎么做

混合专家（MoE）是提升大模型效率的常用方法：模型中有多个“专家”子网络，每个 token 只交给其中少数几个专家处理，这样模型的总参数可以很大，但每个 token 实际用到的计算量不多。MoMa 在此基础上加入了“模态感知”：它把专家模块划分为特定模态的组，一组专家专门处理文本 token，另一组专门处理图像 token。每个 token 根据自己是文字还是图像，先被分到对应的专家组，再在组内由学习到的路由机制选择具体的专家。这样，每组专家都能专注于自己模态的特点，同时，模型仍然通过共享的注意力层在不同模态之间交换信息，保持了早期融合的统一性。

论文还把 MoMa 和混合深度（Mixture of Depths）技术结合起来，让一部分 token 可以跳过某些层的计算，进一步提升效率。

效果

论文报告，在相同的训练 token 预算下，MoMa 比稠密模型节省了大量计算：使用 4 个文本专家和 4 个图像专家的配置时，整体预训练的计算量减少到约三分之一，其中文本部分和图像部分各有显著的节省，效果优于不区分模态的普通混合专家模型。这为高效训练能同时理解和生成图文内容的统一多模态模型提供了一种可行的架构方案。