推理时扩展是什么？多花算力“多想一会儿”换更好的答案

推理时扩展（Inference-time Scaling）是通过在推理阶段投入更多计算资源来提升大模型表现的方法，也常被称为测试时扩展（Test-time Scaling）。过去提升模型能力主要靠在训练阶段扩大规模：更多的参数、更多的数据、更多的训练算力。推理时扩展开辟了另一个维度：模型训练好以后，在回答问题时让它“多想一会儿”，也能显著提升效果。

o1 带来的转折

2024 年 9 月，OpenAI 发布了 o1 系列推理模型，率先把推理时扩展推向主流。o1 在回答前会先生成很长的思维链，在数学、编程、科学推理等任务上的表现大幅提升。OpenAI 展示了一个重要的规律：模型的表现会随着推理时投入的计算量平滑地提升，思考得越久，答得越好。此后 DeepSeek-R1、Claude、Gemini 等推理模型都采用了这一思路。

常见的做法

更长的思维链：通过强化学习训练模型在回答前进行长时间的思考，自己检查、回溯、尝试不同方法。这是“串行”的扩展。并行采样加选择：对同一个问题生成多个答案，再通过多数投票（自洽性）或用一个验证模型打分，挑出最好的。这是“并行”的扩展。搜索：把推理过程看作一棵树，用束搜索、蒙特卡洛树搜索等方法，结合过程奖励模型，在多条推理路径中探索。迭代修正：先给出答案，再让模型反思和改进，循环多轮。

取舍

推理时扩展的好处是不需要重新训练更大的模型，就能在难题上获得更好的表现，而且可以按需调节：简单问题少想，难题多想。代价是推理成本和响应时间明显增加，一道题可能要消耗成千上万个 token。所以很多推理模型提供了可调节的推理强度，研究者也在探索如何让模型自适应地判断该想多久，避免“过度思考”。推理时扩展被认为是继预训练扩展之后，大模型能力提升的又一条重要路径。