资讯

DTS 解码树草图是什么?让推理模型少走弯路的解码方法

2026-11-052 分钟阅读百科
TL;DR解码树草图(DTS)是约翰斯·霍普金斯大学等团队在 2025 年 11 月提出的即插即用解码框架,在关键的决策词处分叉探索多条推理路径,并优先选择最短的完整路径,缓解推理模型的过度思考。

解码树草图(Decoding Tree Sketching,DTS)是一种改进大型推理模型的解码方法,由约翰斯·霍普金斯大学、北卡罗来纳大学夏洛特分校等机构的研究人员在 2025 年 11 月提出,论文标题是《DTS:通过解码树草图增强大型推理模型》。它是一个与模型无关、即插即用的框架,不需要重新训练模型,在推理时使用。

它要解决什么问题

推理模型会先写出很长的思考过程再回答。一种常见的提升效果的办法是“并行思考”:让模型独立地生成很多条推理路径,再从中挑一个最好的答案。但论文指出,现有方法依赖大量冗余的采样,多条路径之间往往大同小异,并没有有效地探索推理空间、找出高质量的解法。此外,推理模型普遍存在“过度思考”的问题:在已经能得出答案时仍然反复验证、绕圈子,浪费 token,有时反而把对的答案想错了。

DTS 怎么做

探索方面:DTS 只在“决策点”上分叉。它用下一个 token 的熵(模型对下一个词有多不确定)来定位关键的分歧点,只有在模型拿不准的地方才分出几条分支,其余地方正常生成。这样勾勒出一棵推理空间的“骨架树”,用更少的计算探索更多真正不同的思路。所有分支并行自回归生成。

选择方面:DTS 采用提前停止的策略,返回第一个完成的分支,也就是最短的推理路径。研究者认为,最短的完整推理路径可以近似看作最优的推理轨迹,因为冗长的路径更可能包含过度思考和错误。

意义

DTS 的思路很实用:不改模型、不额外训练,只改变解码方式,就能同时改善推理的准确率和效率。对于部署推理模型、需要控制 token 成本和响应时间的应用来说,这类方法很有吸引力。