DAVSP 是什么?给视觉语言模型加一圈“安全边框”
TL;DRDAVSP 是清华大学在 2025 年提出的视觉语言模型安全对齐方法,在输入图像周围加一圈可训练的填充区域作为视觉安全提示,并在模型内部激活空间做深度对齐,提升抵御恶意请求的能力,被 AAAI 2026 录用。
DAVSP(Deep Aligned Visual Safety Prompt,深度对齐的视觉安全提示)是一种提升视觉语言模型安全性的方法,由清华大学的研究团队提出,论文标题是《DAVSP:通过深度对齐的视觉安全提示实现大型视觉语言模型的安全对齐》,被 AAAI 2026 录用。
要解决的问题
大型视觉语言模型(LVLM)能同时看图和理解文字,在很多应用中进展显著。但它们也更容易被利用:恶意用户可以把有害的请求藏在图片里,绕过只针对文字设计的安全机制。论文指出,现有的安全对齐方法往往很难两全:要么抵挡不住恶意请求,要么过度防御,连正常、无害的请求也拒绝回答,让模型变得不好用。
两项关键创新
第一,视觉安全提示。以往的一些方法会直接在图像上叠加可训练的扰动,这会破坏原本的视觉特征,影响模型对正常图片的理解。DAVSP 换了一种方式:在输入图像的四周加一圈可训练的填充区域,像给图片加一个“边框”。这圈边框作为视觉层面的安全提示,原图内容完全保留,因而不会损害模型在正常任务上的表现,同时扩大了可优化的空间。
第二,深度对齐。传统方法通常只在模型的输出层面做监督,告诉模型“这种情况应该拒绝”。DAVSP 则深入到模型内部的激活空间进行对齐,引导模型内部的表示朝着能够识别恶意意图的方向调整,让安全能力扎根在模型的“理解”里,而不只是输出时的表面规则。
效果
论文报告,DAVSP 有效提升了模型抵御恶意请求的能力,同时保留了模型在无害请求上的实用性,在多个基准和不同模型上都表现出良好的效果和泛化能力。这类方法对于把多模态模型部署到面向公众的产品中、降低被滥用的风险,具有实际意义。