SearchLVLMs 是什么？让视觉语言模型能上网查最新信息

SearchLVLMs 是一个让多模态大模型能利用互联网最新知识的即插即用框架，由上海人工智能实验室（OpenGVLab）、北京理工大学、浙江大学和香港大学在 2024 年联合提出，论文标题是《SearchLVLMs：通过搜索最新互联网知识增强大型视觉语言模型的即插即用框架》。

问题：模型的知识会过时

像 LLaVA 系列这样的大型视觉语言模型，能看懂图片并回答问题，但它们的知识来自训练数据，停留在某个时间点。世界在不断变化：新的产品发布、新的赛事结果、新的新闻事件、新出现的人物和地点。对于这些最新的内容，模型要么一无所知，要么给出过时的答案。重新训练模型来更新知识，成本太高，也无法做到实时。

SearchLVLMs 怎么做

SearchLVLMs 的思路和文字领域的检索增强生成（RAG）类似：在模型回答之前，先上网查资料。具体流程包括几步。第一步，生成搜索查询：根据用户提出的问题和图片内容，生成合适的搜索关键词。第二步，调用搜索引擎：获取相关的网页。第三步，分层筛选：搜索结果往往很多，而且大部分内容和问题关系不大，直接全部塞给模型既浪费又会干扰回答。SearchLVLMs 用一个分层的过滤模型，先在网页层面筛选出可能有用的网页，再在网页内容的段落层面挑出最相关的片段。第四步，把筛选出的内容作为参考资料，和图片、问题一起交给视觉语言模型，让它基于这些最新信息作答。

“即插即用”是指这个框架不需要修改视觉语言模型本身，可以搭配各种现有的模型使用。其中的过滤模型，是用 UDK-VQA 框架自动生成的数据训练的，它学会了判断哪些网页内容真正有助于回答问题。

效果

论文报告，在需要最新知识的视觉问答测试中，接入 SearchLVLMs 后，多个视觉语言模型的准确率都有大幅提升，效果优于当时自带搜索功能的一些商用产品。这项工作为多模态模型的知识时效性问题提供了一个低成本的解决方案。