MIA-DPO 是什么？用多图数据提升视觉语言模型的偏好对齐

MIA-DPO（Multi-Image Augmented Direct Preference Optimization）是一种面向大型视觉语言模型的多图像偏好对齐方法，由上海交通大学、上海人工智能实验室、香港中文大学等机构在 2024 年联合提出，论文标题是《MIA-DPO：面向大型视觉语言模型的多图像增强直接偏好优化》。

问题：多图理解能力弱

大型视觉语言模型在处理单张图片时已经相当不错，但当一次输入多张图片时，比如比较两张图的差异、根据几张图讲一个故事、在多张截图中找出某个信息，它们的表现往往会明显下降，经常把不同图片的内容搞混，或者描述了某张图里根本没有的东西，也就是多图幻觉。要改进这一点，常用的方法是偏好对齐，比如直接偏好优化（DPO）：给模型看好的回答和差的回答，让它学会偏向好的。但构建高质量的多图偏好数据非常困难：多图数据本身就少，人工标注多图问答的好坏又很费力。

MIA-DPO 的两个巧思

第一，把单图数据扩展成多图数据。单图的问答数据是现成的、大量的。MIA-DPO 把一张原始图片和若干张无关的图片组合在一起，形成多图输入，有三种组合方式：按顺序排列的序列形式、拼成网格的拼贴形式，以及把一张图嵌入另一张图中的画中画形式。问题仍然是针对原始那张图的，这样就低成本地得到了大量多图训练数据。

第二，利用注意力自动构造偏好对。研究者发现，模型在多图输入下答错，往往是因为它的注意力跑到了无关的图片上。于是，MIA-DPO 观察模型生成回答时的注意力分布：如果模型的注意力主要集中在了错误的图片上，那么它生成的这个回答就很可能是有问题的，被选为“差的回答”；而注意力集中在正确图片上的回答，则作为“好的回答”。这样就不需要人工标注，也不需要借助更强的外部模型来判断回答的好坏。

效果

论文报告，MIA-DPO 在多个多图像理解基准上显著提升了模型的表现，同时基本保持了模型在单图任务上的原有能力。这种方法让模型更清楚地知道“问题问的是哪张图”，从而减少多图场景下的混淆和幻觉。