检索增强感知 RAP 是什么？用检索的思路看清超高清图片

检索增强感知（Retrieval-Augmented Perception，RAP）是一个提升多模态大模型理解高分辨率图像能力的插件，由南洋理工大学和武汉大学的团队在 2025 年 3 月提出，论文标题是《检索增强感知：高分辨率图像感知遇上视觉 RAG》，被 ICML 2025 收录并评为 Spotlight 论文。它不需要训练，可以直接用在现有的模型上。

问题：大图看不清细节

多模态大模型处理图片时，受限于视觉编码器的输入尺寸和计算成本，往往要先把图片缩小。一张几千乘几千像素的超高清图片，比如遥感影像、工程图纸、密集的海报，缩小之后很多小字和细节就看不清了，模型自然也回答不对相关的问题。如果把整张大图切成很多小块全部输入，视觉 token 数量又会暴增，计算量难以承受，而且大量无关的内容还会干扰模型的判断。

RAP 的思路：先找相关的部分

RAP 借鉴了检索增强生成（RAG）的想法：回答问题时，不需要把整个知识库都塞给模型，只要检索出最相关的几段资料就够了。同样地，回答关于一张大图的问题时，不需要让模型看完整张图的所有细节，只要找出和问题最相关的那几个区域。

具体来说，RAP 先把高分辨率图像切分成许多小的图像块，然后用视觉检索模型计算每个图像块与用户问题之间的相似度，挑出最相关的若干块。为了保持这些块之间的空间位置关系，RAP 设计了一种保留相对位置的布局方法，把挑出的块重新拼成一张较小的图交给模型。它还会根据问题的类型，自适应地决定该保留多少块：有的问题只需要看一个局部，有的需要看多个区域之间的关系。

效果

论文报告，RAP 在多个高分辨率图像理解基准上显著提升了多模态大模型的表现，尤其是在需要识别细小物体和文字的任务上，同时因为只处理相关的部分，减少了计算开销。这种“先检索、再感知”的思路，为多模态模型处理超大图像提供了一种简单有效的方案。