思维链 CoT 是什么？让大模型把推理步骤写出来

思维链（Chain of Thought，CoT）是一种增强大语言模型推理能力的技术，由谷歌大脑的研究员 Jason Wei 等人提出，在 2022 年 1 月发表的论文《思维链提示激发大语言模型的推理能力》中进行了详细阐述。它的核心很简单：让模型在给出最终答案之前，先把解题的中间步骤一步步地写出来。

它是怎么发现的

研究者发现，大模型直接回答多步推理的问题时经常出错。比如问：“食堂有 23 个苹果，用掉 20 个做午饭，又买了 6 个，现在有几个？”模型可能直接给出一个错误的数字。但如果在提示中给几个示例，示例里不只有答案，还写出了推理过程，比如“食堂原来有 23 个苹果，用掉 20 个后剩 23 减 20 等于 3 个，又买了 6 个，所以有 3 加 6 等于 9 个，答案是 9”，模型就会学着先写出类似的推理步骤，再得出答案，准确率大幅提高。

论文在三个大模型上做了实验，思维链提示在算术、常识和符号推理等一系列任务上都带来了显著的提升。一个重要的发现是：这种能力是“涌现”的，只有当模型足够大时，思维链才有明显的效果；对于小模型，它甚至可能让效果变差。

为什么有效

一种直观的解释是：把复杂的问题拆成多个简单的步骤，每一步都更容易做对；中间结果被写在了上下文里，相当于给模型提供了“草稿纸”，后面的推理可以直接利用前面算出的结果，而不需要在一次生成中把所有的计算都“在脑子里”完成。写出的推理过程也让人能看清模型是怎么思考的，方便发现错误。

后续发展

思维链之后出现了很多变体：零样本思维链，只需在问题后加一句“让我们一步步思考”，不用示例也能激发推理；自洽性，生成多条推理链再投票选出最常见的答案；思维树、思维图，让推理可以分支和回溯。更重要的是，2024 年起出现的 OpenAI o1、DeepSeek-R1 等推理模型，通过强化学习训练模型自发地进行很长的思维链推理，把这一思想推向了新的高度。可以说，思维链是理解当今推理模型的起点。