多步误差最小化 MEM 是什么？保护图文数据不被多模态模型偷学

多步误差最小化（Multi-step Error Minimization，MEM）是一种保护图文数据不被未经授权训练使用的方法，由中国科学院信息工程研究所、南洋理工大学、新加坡国立大学和中山大学的研究人员在 2024 年提出，论文标题是《多模态不可学习样本：保护数据免受多模态对比学习的侵害》，发表于 ACM 多媒体会议。

问题：你的图片可能被拿去训练模型

像 CLIP 这样的多模态模型，是通过多模态对比学习训练的：从互联网上抓取海量的图片和对应的文字描述，让模型学会把匹配的图文对拉近、不匹配的推远。这种训练方式需要大量的数据，而这些数据往往是未经许可从网上收集的，可能包含个人的照片、受版权保护的作品等。数据所有者希望有一种方法，能让自己公开发布的内容不被别人随意拿去训练模型。

不可学习样本

“不可学习样本”是一种数据保护的思路：在数据上加入人眼几乎察觉不到的微小扰动，图片看起来和原来一样，正常浏览完全不受影响；但如果有人用这些数据训练模型，模型会被这些扰动“误导”，学不到真正有用的特征，训练出来的模型在正常数据上表现很差。这种方法此前主要用于只有图像的分类任务，而在图文配对的多模态对比学习中，情况复杂得多：数据量巨大、类别不明确，图文之间的关系也更复杂，已有的方法效果不佳。

MEM 怎么做

MEM 的核心思想是误差最小化：生成的扰动，要让模型在训练时“觉得”自己已经学得很好了，训练损失很低，于是失去继续学习真正特征的动力，相当于给模型提供了一条虚假的捷径。具体来说，MEM 同时优化两样东西：一是加在图像上的微小噪声，二是附加在文本上的短文本触发器。噪声和触发器之间形成一种虚假的对应关系，模型在训练时会轻易地抓住这种捷径来完成图文匹配，而不去学习图像和文字真正的语义对应。之所以叫“多步”，是因为它采用了多步迭代的优化方式，并借助投影梯度下降等方法，交替地优化图像噪声和文本触发器，让扰动更有效。

效果

论文报告，用 MEM 处理过的数据训练出的多模态模型，在检索等任务上的表现显著下降，说明数据受到了有效的保护；并且这种保护能在不同的模型之间迁移。这为个人和机构保护自己发布的图文数据提供了一种技术手段。