多模态思维可视化 MVoT 是什么？让模型边推理边画图

多模态思维可视化（Multimodal Visualization-of-Thought，MVoT）是一种让模型用图像辅助推理的方法，由微软研究院、剑桥大学和中国科学院的研究人员在 2025 年 1 月提出，论文标题是《在空间中边推理边想象：多模态思维可视化》。

问题：空间推理光靠文字不够

思维链推理让大模型在数学、逻辑等任务上表现大增，多模态模型也学会了先写出推理过程再回答。但这些推理过程都是用文字写的。对于空间推理任务，比如走迷宫、规划物体的摆放、推断一个人在环境中移动后的位置，单靠文字描述中间状态往往很吃力：要用文字精确描述“现在在第几行第几列，周围哪里有墙”，既啰嗦又容易出错，模型很容易在长串的文字推理中“迷路”。

人类做空间推理时，常常会在脑海里想象画面，或者在纸上画草图。研究者受此启发：能不能让模型在推理时也“画出来”？

MVoT 怎么做

MVoT 让多模态模型在推理的过程中，交替地生成文字和图像：每走一步，模型不仅用文字描述这一步做了什么，还生成一张图像，可视化当前的状态，比如在迷宫图上标出当前的位置。这些图像作为推理链的一部分，帮助模型在后续的步骤中看清当前的局面，再决定下一步。这就像把“思维链”升级成了“图文并茂的思维链”。

为了让模型生成的可视化图像质量更好、更准确，研究者在训练中引入了一种 token 差异损失，提升生成的图像在视觉上的连贯性和保真度。实验使用的是能同时理解和生成图像的统一多模态模型。

效果

论文在多个动态空间推理任务上做了实验，结果显示 MVoT 的表现稳定且有竞争力，在一些复杂场景中，比纯文字的思维链方法更可靠，尤其是在文字推理容易失效的情况下。研究者还发现，把 MVoT 和文字思维链结合起来，能进一步提升效果。这项工作展示了“用图像思考”作为一种推理方式的潜力。