原生稀疏注意力 NSA 是什么？DeepSeek 的长文本注意力加速方案

原生稀疏注意力（Native Sparse Attention，NSA）是一种能直接参与训练的稀疏注意力机制，由 DeepSeek 联合北京大学和华盛顿大学在 2025 年 2 月提出，论文标题是《原生稀疏注意力：硬件对齐且原生可训练的稀疏注意力》，获得了 ACL 2025 最佳论文奖。它结合了算法上的创新和硬件上的优化，用来解决长序列建模中的计算瓶颈。

长文本的注意力难题

标准注意力的计算量随文本长度平方增长，处理几万、几十万 token 的长文本时，注意力计算会占据大部分时间。稀疏注意力的想法是：每个 token 只和一部分最相关的 token 计算注意力，而不是和所有 token 都算。但论文指出，以往很多稀疏注意力方法存在两个问题：一是只在推理时使用，训练时仍用完整注意力，导致训练和推理不一致，效果打折；二是理论上减少了计算量，实际在 GPU 上却不一定变快，因为稀疏的访问模式对硬件不友好。

NSA 的三条分支

NSA 采用一种动态的分层稀疏策略，用三条并行的注意力分支处理上下文：压缩注意力，把历史内容按块压缩成粗粒度的表示，用来把握全局的大意；选择注意力，根据压缩分支的结果，挑出最重要的若干块，保留它们的细粒度信息进行精确计算；滑动窗口注意力，始终关注最近的一段内容，处理局部的上下文。三条分支的结果通过门控机制组合在一起。这样既能抓住全局，又不丢关键细节，还兼顾了局部信息。

原生可训练、硬件对齐

“原生可训练”是指 NSA 从预训练阶段就开始使用，模型在训练中就学会稀疏地看上下文，训练和推理完全一致。“硬件对齐”是指它的算法设计充分考虑了现代 GPU 的特点，比如按块访问内存、平衡计算强度，配合专门编写的高效内核，让理论上的计算节省真正变成实际的速度提升。

效果

论文在 27B 参数的 Transformer 主干模型上做了预训练实验，NSA 在通用基准、长上下文任务和推理任务上，性能与使用完整注意力的模型相当甚至更好。在处理 64K 长度的序列时，它在解码、前向传播和反向传播上都比完整注意力快很多。这项工作被认为为 DeepSeek 后续模型中使用的稀疏注意力技术打下了基础。