差分 Transformer 是什么？像降噪耳机一样消除注意力噪声

差分 Transformer（Differential Transformer，Diff Transformer）是一种改进注意力机制的新型 Transformer 架构，由微软研究院和清华大学在 2024 年共同提出，论文标题就是《差分 Transformer》。它的核心是差分注意力机制。

问题：注意力里的“噪声”

Transformer 依靠注意力机制决定在处理每个词时该关注上下文中的哪些内容。研究者发现，传统的 Transformer 往往会把相当一部分注意力分配给与当前任务无关的上下文，这些分散的注意力就像“噪声”，淹没了真正重要的信息。这会导致一些问题：在长文本中难以准确找到关键信息，比如在很长的文档中找某个具体的事实时，模型容易遗漏，也就是“迷失在中间”的现象；还容易产生幻觉，以及对上下文示例的顺序很敏感。

差分注意力：两组相减

差分注意力的思路，借鉴了电子工程中的差分放大器和降噪耳机：降噪耳机会录下环境的噪声，再用一个相反的信号把它抵消掉，只留下你想听的声音。

具体来说，差分注意力把查询和键各分成两组，分别计算出两张注意力图，然后用第一张减去第二张（第二张乘以一个可学习的系数）。两张图中都存在的共同部分，也就是那些分散在无关内容上的噪声，就会被相减抵消；而只在第一张图中突出的部分，也就是真正相关的信息，则被保留下来。这样得到的注意力分布更加稀疏、更聚焦于关键的内容。

效果

论文报告，在语言建模任务上，差分 Transformer 在扩大模型规模和训练数据量时，都比标准 Transformer 更有效率，用更少的参数或更少的训练 token 就能达到相当的效果。在实际应用中，它在长上下文建模、关键信息检索、减少幻觉、上下文学习等方面都表现出明显的优势，对上下文示例的顺序也更加稳健。此外，差分注意力还减少了激活值中的异常值，让模型更容易被量化压缩。这一思想被视为对 Transformer 核心机制的一项有意思的改进。