令牌级偏好优化 TPO 是什么？逐词元减少视觉语言模型的幻觉

令牌级偏好优化（Token Preference Optimization，TPO）是一种减少视觉语言模型幻觉的对齐方法，由阿里巴巴集团和穆罕默德·本·扎耶德人工智能大学在 2025 年 1 月提出，论文标题是《基于自校准视觉锚定奖励的令牌偏好优化，用于缓解幻觉》。

问题：模型看图“说瞎话”

大型视觉语言模型有一个常见的毛病：幻觉，也就是描述了图片里并不存在的东西，比如明明桌上只有一个杯子，它却说有一个杯子和一盘水果。一个常用的缓解办法是偏好优化，比如直接偏好优化（DPO）：给模型看好的回答和差的回答，让它学会偏向好的。但以往的方法通常在整个回答的层面上做偏好对比，一段回答里可能大部分是对的，只有几个词出错，整段比较的信号太粗，模型不知道具体是哪里错了。而如果要人工逐词标注哪些地方是幻觉，成本又太高。

TPO 的做法

TPO 把偏好对齐细化到每一个词元（token），而且不需要细粒度的人工标注。关键是它的自校准视觉锚定奖励：研究者观察到，对于真正和图像内容相关的词元，比如描述物体、颜色、数量的词，如果给图片加入噪声、让它变模糊，模型生成这些词的概率会明显变化；而对于和图像无关的词，概率几乎不变。TPO 利用这种变化来自动识别哪些词元是“视觉锚定”的，也就是依赖图像内容的，并据此给每个词元分配奖励：对图像依赖程度高、且有依据的词元给予更多的奖励。奖励还会进行自校准，让它的分布更合理。

效果

论文报告，TPO 在多个评测幻觉的基准上显著降低了视觉语言模型的幻觉率，同时没有损害模型的通用能力，而且全程不需要人工的逐词标注。这种细粒度的对齐方式，让模型更清楚地知道“哪些话必须有图为证”，对于需要准确描述图片内容的应用，比如图片标注、视觉问答和辅助视障人士，很有实际意义。