资讯

FOA-Attack 是什么?针对闭源多模态模型的对抗样本研究

2026-11-052 分钟阅读百科
TL;DRFOA-Attack 是南洋理工大学和穆罕默德·本·扎耶德人工智能大学等在 2025 年提出的对抗攻击研究,通过对齐全局和局部图像特征,提高对抗样本在闭源多模态大模型上的迁移效果,揭示了这些模型的安全脆弱性,被 NeurIPS 2025 接收。

FOA-Attack(Feature Optimal Alignment Attack)是一项关于多模态大模型安全性的对抗攻击研究,由南洋理工大学、穆罕默德·本·扎耶德人工智能大学等机构的研究人员在 2025 年 5 月提出,论文标题是《通过特征最优对齐攻击闭源多模态大模型》,被 NeurIPS 2025 接收。这类研究的目的是揭示模型的弱点,推动更稳健的防御。

什么是对抗样本

对抗样本是经过精心设计的输入:在图片上加入人眼几乎察觉不到的微小扰动,就能让 AI 模型产生错误的判断,比如把一张猫的图片描述成别的东西。“定向”攻击是指让模型输出攻击者指定的特定错误结果;“可迁移”是指在自己能访问的模型上制作的对抗样本,对其他模型也有效,包括看不到内部参数的闭源商用模型。研究表明,多模态大模型仍然容易受到可迁移对抗样本的影响。

这项研究的改进

已有方法通常通过对齐全局特征来实现定向攻击,比如让对抗图片和目标图片在 CLIP 模型的全局表示上尽量接近。论文指出,这类方法往往忽略了图像小块(patch)中包含的丰富局部信息,导致特征对齐不够充分,对闭源模型的迁移效果有限。

FOA-Attack 在两个层面同时对齐特征:在全局层面,用基于余弦相似度的损失,对齐对抗样本和目标样本的粗粒度特征;在局部层面,利用 Transformer 中丰富的局部表示,借助聚类和最优传输的方法,对齐两者的细粒度局部特征。此外,它还使用多个代理模型并动态调整它们的权重,进一步提高迁移性。

意义

论文报告,这种方法在多个闭源多模态大模型上的攻击效果明显优于已有方法。这类研究的价值在于提醒业界:多模态模型的视觉输入是一个需要认真防护的攻击面,部署时需要考虑对抗鲁棒性,比如输入净化、对抗训练和异常检测等防御手段。