DAPE 是什么？让大模型处理比训练时更长文本的位置编码

DAPE（Data-Adaptive Positional Encoding，数据自适应位置编码）是一种新的 Transformer 位置编码方法，由香港中文大学的郑传阳等人提出，研究团队还包括来自新加坡国立大学、华为诺亚方舟实验室、香港大学和香港浸会大学的研究人员，论文标题是《DAPE：面向长度外推的数据自适应位置编码》，被 NeurIPS 2024 接收。

位置编码为什么重要

Transformer 的注意力机制本身不知道词语的先后顺序：如果不加处理，“狗咬人”和“人咬狗”在它看来是一样的。位置编码就是告诉模型每个 token 处在什么位置，让模型能理解顺序。常见的方法有正弦位置编码、可学习的绝对位置编码、旋转位置编码（RoPE），以及 ALiBi 等相对位置偏置方法。

长度外推的难题

一个常见的问题是长度外推：模型在训练时只见过一定长度的文本，比如最长 4K token，推理时如果输入了更长的文本，比如 16K，效果往往会急剧下降，因为它从没见过那么远的位置。很多已有的位置编码在设计上是固定的：无论输入什么内容，同一个位置得到的编码都一样，这种静态的方式难以适应训练时没见过的长度。

DAPE 的做法

DAPE 的核心想法是让位置编码随输入的内容动态调整。它把两部分信息结合起来：一部分是学习到的固定先验，也就是传统的相对位置偏置，提供关于距离的基本信息，比如“离得越远，通常越不相关”；另一部分是根据当前输入的注意力分数动态计算的调整量，由一个轻量的神经网络根据具体的上下文内容，对位置偏置进行修正。这样，位置编码不再是一成不变的，而是能根据当前文本的特点，自适应地决定该如何对待不同距离的 token。

效果

论文的实验表明，DAPE 在训练长度之内和之外都表现出色，尤其是在长度外推方面：用较短的文本训练的模型，在远长于训练长度的文本上，依然能保持较好的语言建模效果，明显优于多种静态的位置编码方法。这为让模型处理更长的上下文、降低长文本训练的成本，提供了一条技术路径。