基于能量的 Transformer 是什么？像“想一想再回答”一样做预测

基于能量的 Transformer（Energy-Based Transformers，EBTs）是一类新的基于能量的模型，由弗吉尼亚大学等团队在 2025 年 7 月提出，论文标题是《基于能量的 Transformer 是可扩展的学习者和思考者》。

什么是能量模型

常规的 Transformer 做预测是“一次到位”的：输入进来，一次前向计算，直接输出下一个词的概率。基于能量的模型换了一种方式：它学习的是一个“能量函数”，给每一对“输入加候选答案”打一个能量值。能量越低，表示这个候选答案和输入越匹配、越合理。做预测时，模型从一个初始的猜测出发，用梯度下降不断调整这个猜测，让能量越来越低，直到收敛，最终得到的就是预测结果。

这个过程很像人“想一想再回答”：先有个初步想法，然后反复检查、修正，直到满意为止。研究者把它和人类认知中的“系统 2 思维”联系起来，也就是缓慢、审慎的思考。

有什么好处

可以动态分配思考量：简单的问题，几步就收敛了；难的问题，可以多迭代几步，花更多的计算来得到更好的答案。这和推理模型“多想就更准”的思路相通，但它不需要用语言写出思维链，也不需要专门的奖励信号，是在模型内部的连续空间里完成的。另外，能量值本身可以用来判断模型对答案有多自信，还能用来比较多个候选答案。

效果

论文在文本这类离散模态和图像这类连续模态的任务上都做了实验。结果显示，在训练阶段，EBT 的扩展速度比当前主流的 Transformer++ 更快：在数据量、批量大小、参数数量、计算量和模型深度等多个维度上的扩展率最高提升约 35%。在推理阶段，通过多迭代几步“思考”，EBT 在语言任务上的提升比 Transformer++ 更明显；在预训练效果相同甚至更差的情况下，它在大多数下游任务上表现更好，泛化能力更强。这项工作为“让模型在推理时思考”提供了一种不同于思维链的新路线。