UDK-VQA 是什么？为多模态模型构建最新知识的问答数据

UDK-VQA 是一个自动生成“最新知识视觉问答”数据的框架，由上海人工智能实验室、北京理工大学、浙江大学和香港大学在 2024 年联合提出，是论文《SearchLVLMs：通过搜索最新互联网知识增强大型视觉语言模型的即插即用框架》中的一部分。UDK 是 Up-to-Date Knowledge（最新知识）的缩写，VQA 是视觉问答。

要解决的问题

大型视觉语言模型的知识停留在它的训练数据截止的时间点。如果你给它看一张最近某场比赛、某个新发布产品或某个新闻事件的照片，问相关的问题，它很可能答不上来，或者凭借过时的知识给出错误的回答。要让模型能利用实时的信息，一方面需要给它配备搜索能力，另一方面也需要相应的数据来训练模型如何利用搜索到的信息，以及评测它在这方面的表现。但人工构建这类涉及最新知识的问答数据，成本很高，而且很快就会过时。

UDK-VQA 怎么做

UDK-VQA 能自动地、持续地生成这类数据。大致流程是：首先，从搜索引擎的热门搜索和新闻网站上，获取最近发生的新闻事件和热门话题；然后，根据新闻内容生成相关的问题和答案；再为这些问题搜集或匹配相关的图片，构成图文结合的问答样本；最后进行筛选和校验，保证问题必须借助最新知识才能回答，并且答案准确。因为整个过程是自动化的，可以定期重新运行，生成反映最新时事的数据，用于训练和评测。

和 SearchLVLMs 的关系

UDK-VQA 生成的数据，主要用来训练 SearchLVLMs 框架中的组件：SearchLVLMs 让视觉语言模型在回答问题时，先通过搜索引擎查找相关的最新网页，再从中筛选出有用的内容提供给模型。训练这些筛选组件，需要知道哪些搜到的内容真正对回答问题有帮助，UDK-VQA 正好提供了这样的训练信号。研究团队还用它构建了一个评测集，用来衡量模型回答最新知识问题的能力。论文的评测显示，不借助搜索的多模态模型在这类问题上表现很差，而接入 SearchLVLMs 后准确率大幅提升。