连续概念混合 CoCoMix 是什么？在预训练中加入连续概念

连续概念混合（Continuous Concept Mixing，CoCoMix）是一种改进大模型预训练的方法，由 Meta、韩国科学技术院（KAIST）和加州大学圣地亚哥分校的研究人员在 2025 年提出，论文标题是《用连续概念进行大模型预训练》。

出发点：只预测下一个词够不够

大语言模型的预训练目标几乎都是“预测下一个词”：给定前面的文字，预测下一个 token 是什么。这个目标简单有效，但研究者认为，token 是很表层的信号：一个句子背后的高层概念和推理，只能通过预测一个个具体的词来间接学习，效率不高。能不能在预训练中直接加入更高层的“概念”信号？

CoCoMix 借助了稀疏自编码器（SAE）。首先，用一个在预训练好的模型上训练出的稀疏自编码器，从模型的隐藏状态中提取出“概念”：稀疏自编码器能把隐藏状态分解成大量可解释的单一概念特征。研究者挑选出对预测下一个词最重要的那些概念。

然后，在训练新模型时，除了常规的预测下一个词，还让模型额外学习预测这些概念。模型预测出的概念是连续的向量，CoCoMix 再把它们和原本的 token 隐藏表示交错混合在一起，送入后续的层。这样，模型在每一步都显式地“想一想”接下来涉及哪些概念，再据此预测下一个词。

论文报告，在多个语言建模基准和下游推理任务上，CoCoMix 的样本效率更高，用更少的训练数据达到同样的效果，并且持续优于标准的下一个词预测、知识蒸馏和插入暂停 token 等方法。研究发现，把概念学习和交错混合结合起来，对提升效果都很关键。

另一个好处是可解释性和可控性：因为概念是显式预测出来的，研究者可以直接查看模型在某一步预测了哪些概念，还可以人为地调整这些概念，从而引导模型的输出。这让模型内部的推理过程更加透明。