门控注意力是什么？获 NeurIPS 2025 最佳论文的注意力改进

门控注意力（Gated Attention）是对 Transformer 注意力机制的一项简单而有效的改进，由阿里通义千问团队联合爱丁堡大学、斯坦福大学等机构的研究人员在 2025 年 5 月发表，论文标题是《大语言模型的门控注意力：非线性、稀疏性与无注意力汇聚》，获得了 NeurIPS 2025 的最佳论文奖。

研究做了什么

门控机制在神经网络里由来已久，比如 LSTM 就靠门控决定信息的取舍。这项研究系统地考察了在标准的 softmax 注意力中加入门控的各种变体。实验规模很大：在 15B 参数的 MoE 模型和 1.7B 参数的稠密模型上，比较了 30 种变体，训练数据达 3.5 万亿 token。

关键发现

研究发现，最有效的改动出奇地简单：在缩放点积注意力（SDPA）的输出之后，为每个注意力头加一个 sigmoid 门控，也就是用一个 0 到 1 之间的系数，按头、按位置调节注意力输出的强弱。就这么一个小改动，就能稳定地提升模型效果，同时提高训练的稳定性，允许使用更大的学习率，还改善了模型的扩展性。

论文分析了它有效的两个原因。一是引入了非线性：注意力里值向量的变换和输出投影本来是两个线性变换，中间加一个门控，增加了表达能力。二是带来了稀疏性：门控会根据当前的查询，选择性地压低一部分注意力输出。

消除注意力汇聚

另一个重要发现是，门控注意力消除了“注意力汇聚”（attention sink）现象。这是大模型里普遍存在的怪现象：大量注意力莫名其妙地集中在序列开头的几个 token 上，哪怕它们没什么意义，这会影响模型处理长文本。加了门控后这种现象消失了，模型的长上下文外推能力也有所提升。

影响

这项研究的价值在于，用扎实的大规模实验证明了一个简单改动的普遍有效性。通义千问在 Qwen3-Next 等新一代模型的架构中采用了门控注意力，这一改进也被更多的模型设计所借鉴。