PENCIL 是什么？边推理边擦掉草稿的深度思考范式

PENCIL 是一种让大模型“边推理边擦除”的深度思考范式，由丰田工业大学芝加哥分校的博士生杨晨晓及其团队在 2025 年 3 月提出，论文标题是《PENCIL：用短记忆完成长思考》，被 ICML 2025 收录。名字是 PENCIL ENables Context-efficient Inference and Learning 的递归缩写，也暗含“铅笔可以擦掉重写”的意思。

问题：长思考撑爆上下文

推理模型通过写出很长的思维链来解决复杂问题，问题越难，思考过程越长。但这些思考过程全都留在上下文里：每多写一个 token，后面的计算就要多看一个 token。结果是上下文越来越长，计算量和显存占用快速增长，最终受限于上下文窗口的长度，有些需要大量步骤的问题根本无法完成。

而人做复杂推理时并不是这样的：我们在草稿纸上算完一个中间结果后，只需要记住结论，具体的演算过程就可以擦掉，腾出地方继续算下一步。

PENCIL 怎么做

PENCIL 让模型在生成过程中，动态地擦除那些已经不再需要的中间内容，直到得到最终答案。它的设计借鉴了逻辑学和经典计算模型中的“归约”思想：模型可以生成特殊的标记，表示开始一个子任务、子任务完成，以及要保留的结论；一旦子任务完成，模型就把这个子任务的详细推理过程从上下文中删掉，只保留结论，再继续往下推理。这样，上下文里始终只保留当前真正需要的信息。

研究团队从理论上证明了，这种方式可以用和问题所需“空间”成正比的上下文长度，完成任意复杂的计算，而不必让上下文随推理步数一起无限增长。

效果

论文在需要大量推理步骤的任务上做了实验，比如大规模的逻辑谜题、爱因斯坦谜题和数独类问题，结果显示 PENCIL 能用很小的模型和很短的上下文，解决常规思维链方法因为上下文不够而无法解决的难题，同时显著降低了计算开销。这为让大模型进行更长、更深的推理提供了一种节省资源的新思路。