RewardMap 是什么？用多阶段强化学习教模型看懂地铁图

RewardMap 是一个提升多模态大模型细粒度视觉推理能力的强化学习框架，由西湖大学、同济大学等高校的研究人员在 2025 年 10 月提出，论文标题是《RewardMap：通过多阶段强化学习应对细粒度视觉推理中的稀疏奖励》。

一个看似简单的难题

细粒度视觉推理一直是多模态大模型的核心挑战。此前推出的 ReasonMap 基准显示，即使是先进的多模态大模型，在地铁线路图这类结构化、信息密集的图像上做空间推理也很吃力。比如“从 A 站到 B 站怎么换乘最快”，需要准确读出每条线路、每个站点和换乘关系，再规划路线。这类任务有明确的实际价值，也是检验模型空间推理能力的好场景。

为什么强化学习效果不好

直接用标准的强化学习训练这类任务会遇到两个问题：一是奖励稀疏，只有最终的路线完全正确才给奖励，模型绝大多数时候得不到任何反馈，学不到东西；二是优化不稳定。

RewardMap 的设计

研究人员首先构建了扩展数据集 ReasonMap-Plus，通过视觉问答类任务引入稠密的奖励信号，比如先问“这条线路经过哪些站”这类更基础的问题，帮助模型打好细粒度视觉理解的基础。

框架本身有两项关键设计。一是难度感知的奖励设计：除了最终答案对不对，还加入细节奖励，比如起点站、终点站、换乘站是否识别正确，直接缓解奖励稀疏的问题，提供更丰富的监督；奖励还会根据题目难度调整。二是多阶段的强化学习方案：从简单的感知任务开始训练，逐步过渡到复杂的推理任务，像课程一样由易到难，比一开始就上难题的监督微调方式更有效。

效果

论文报告，用 RewardMap 训练的模型在地铁图推理任务上显著提升，并且这种能力还能迁移到其他涉及空间推理、细粒度视觉理解的基准上，说明它提升的是更通用的看图推理能力。