REFRAG 是什么？让检索增强生成提速的解码框架

REFRAG 是一个提升检索增强生成（RAG）速度的高效解码框架，由 Meta 超级智能实验室、新加坡国立大学和莱斯大学的研究人员在 2025 年 9 月提出，论文标题是《REFRAG：重新思考基于 RAG 的解码》。它的思路可以概括为三个词：压缩、感知和扩展。

RAG 的效率困境

大语言模型在多轮对话和智能体应用中，借助大量外部知识来增强回答，检索增强生成是典型的做法。但检索回来的资料往往很长，处理长上下文输入会带来明显的系统延迟，还需要大量显存来保存键值缓存，导致吞吐量下降。于是出现了一个根本性的权衡：塞进去的知识越多，回答越有依据，系统却越慢越贵。

一个关键观察

研究人员注意到 RAG 上下文的一个特点：检索到的多个段落之间，往往关联度很低，很多段落甚至和问题关系不大。这导致模型在计算注意力时，大部分段落之间的交互其实是浪费的，注意力呈现出一种块对角的稀疏模式。这意味着对整个长上下文做完整的计算，是很不划算的。

REFRAG 的做法

REFRAG 对解码过程做了几项改进。压缩：它不再把检索到的段落原文的 token 一个个输入模型，而是使用预先计算好并压缩过的片段嵌入作为近似表示：每一小块文本被一个轻量的编码器压缩成一个向量，直接送进解码器。这样输入长度大大缩短，而且这些嵌入可以提前算好、重复使用。感知：用一个轻量的策略判断哪些片段真正重要。扩展：对重要的片段，再展开成完整的 token 输入，保证关键信息不丢失。

效果

论文报告，REFRAG 能把生成第一个 token 的时间加速 30 倍左右，同时不损失困惑度和回答的准确率；在相同的延迟下，还能把模型可用的上下文扩展得更长。对于需要大量检索资料的问答、多轮对话和智能体应用，这类方法能显著降低成本和响应时间。