连续思维链 Coconut 是什么？让大模型不用文字也能推理

连续思维链（Chain of Continuous Thought，Coconut）是一种让大模型在“潜在空间”中推理的新范式，由 Meta 和加州大学圣地亚哥分校的研究人员在 2024 年 12 月提出，论文标题是《训练大语言模型在连续潜在空间中推理》。

用文字推理的局限

思维链让大模型先用文字写出推理过程，再给出答案，大大提升了推理能力。但这种方式有它的局限：推理必须用一个个具体的词来表达，而很多词只是为了让语句通顺，对推理本身没什么用；每写一个词，模型都必须在众多候选中选定一个，相当于在每一步都“做出决定”，限制了推理的灵活性。研究者还注意到，人脑在推理时，负责语言的区域并不总是活跃的，思考不一定都要用语言进行。

Coconut 怎么做

Coconut 把推理过程从语言空间中解放出来。常规的做法是：模型的最后一层隐藏状态被转换成一个词，这个词再作为下一步的输入。Coconut 则跳过“转换成词”这一步：直接把最后一层的隐藏状态，作为下一步的输入嵌入，送回模型继续推理。这个隐藏状态就是一个“连续的思维”，它不对应任何具体的词，却包含了模型此刻的推理信息。模型可以这样连续“思考”若干步，最后再切换回语言模式，输出答案。

训练上，研究者采用多阶段的课程：先用普通的文字思维链数据训练，然后逐步把推理链中前面的文字步骤替换成连续思维，让模型慢慢学会用连续的方式推理。

有什么好处

论文发现了一个有意思的现象：连续思维可以同时编码多个可能的下一步。也就是说，模型不必像文字推理那样在每一步就确定选择一条路，而是可以同时保持多条推理路径，逐步排除错误的选项，类似于广度优先搜索。这在需要规划和回溯的逻辑推理任务上尤其有帮助。实验显示，在一些逻辑推理任务上，Coconut 的效果超过了文字思维链，而且推理时生成的 token 更少。不过，这种推理过程对人来说是不可读的，可解释性会变差，这是它的代价之一。