稠密检索器是什么？Revela 怎样不靠标注数据训练它

稠密检索器（Dense Retriever）是一种用向量来找资料的检索模型。它把用户的查询和库里的每篇文档都映射到同一个高维向量空间，通过计算向量之间的相似度来判断相关性，找出最相关的内容。和传统按关键词匹配的稀疏检索（如 BM25）相比，它能理解同义表达和语义关联。它是检索增强生成（RAG）系统的核心组件，帮助语言模型获取外部的专业知识。

传统训练方式的瓶颈

训练一个高质量的稠密检索器，传统上非常依赖“查询-相关文档”配对的人工标注数据：告诉模型这个问题应该找到哪篇文档。这种标注成本很高，在代码、法律、医学等复杂的专业领域更是难以大规模获取，限制了稠密检索器在这些领域的应用。

Revela 的新思路

达姆施塔特工业大学、华盛顿大学、卡内基梅隆大学、微软和腾讯 AI Lab 的联合团队提出了自监督训练框架 Revela，论文标题是《Revela：通过语言建模学习稠密检索器》，已被 ICLR 2026 接收。它的核心想法是把检索器的训练融入语言模型最基本的任务：预测下一个词。

直观地说：如果语言模型在预测某段文本的下一个词时，能参考另一段相关的文本，预测会更准。Revela 让检索器来决定“该参考哪些文本”，再根据参考后语言模型预测得好不好，反过来训练检索器。这样，检索器从海量的普通文本中就能学会判断哪些内容彼此相关，而不需要任何人工标注的查询-文档对。

意义

这种方法让在缺乏标注数据的专业领域训练检索器成为可能，比如在代码库上训练代码检索器，只需要大量代码文本本身。对于想为自己的专业文档库构建高质量检索能力的团队，这类自监督方法能显著降低数据成本。