CapRL 是什么？用“能不能答对题”来训练图像描述

CapRL 是一个用强化学习训练图像描述能力的框架，由中国科学技术大学、香港中文大学和上海人工智能实验室等机构的研究人员在 2025 年 9 月提出，论文标题是《CapRL：通过强化学习激发稠密图像描述能力》。

图像描述为什么重要

图像描述，也就是用文字详细描述一张图片的内容，是连接视觉和语言的基础任务，在大型视觉语言模型的预训练中扮演关键角色：模型很多看图的能力，都是从大量图文描述数据中学来的。目前最好的描述模型通常用监督微调训练，依赖人工或闭源模型标注的描述数据。这种数据成本高、难以扩展，而且容易让模型死记硬背特定的标准答案，限制了它生成多样、有创造性的描述的能力。

CapRL 的关键想法

要用强化学习训练描述能力，难点是奖励怎么给：图像描述是开放式的，很难判断一段描述到底好不好。CapRL 重新定义了描述的质量：一段好的描述，应该能让一个看不到图片的语言模型，仅凭这段描述就准确回答关于这张图片的问题。

具体采用解耦的两阶段流程：先由视觉语言模型看图生成描述；再把描述交给一个独立的、没有视觉能力的大语言模型，让它根据描述回答一组关于图片的选择题。答对的比例就是这段描述的奖励。描述越完整、越准确，纯文本模型就越能答对。这样就把一个主观的评价问题，变成了一个客观可验证的奖励。

效果

论文报告，用 CapRL 训练出的模型生成的描述更加详细和准确，用这些描述数据去预训练视觉语言模型，在多个基准上取得了明显提升，效果可以媲美用强大闭源模型生成描述数据的做法。这为低成本地获得高质量图文数据提供了新路径。