因果注意力 CATT 是什么？用因果推断消除视觉语言模型的虚假关联

因果注意力（Causal Attention，CATT）是一种结合因果推断来改进注意力机制的方法，由南洋理工大学和澳大利亚莫纳什大学的研究人员在 2021 年提出，论文标题是《用于视觉语言任务的因果注意力》，发表于 CVPR 2021。需要注意的是，它和大语言模型中常说的“因果注意力”（指每个 token 只能看到前面 token 的因果掩码注意力）是两个不同的概念。

问题：注意力会学到虚假关联

注意力机制被广泛用于视觉语言任务，比如看图说话、视觉问答：模型在生成描述或回答问题时，会“注意”图像中相关的区域。但研究者发现，注意力很容易被训练数据中的偏差带偏，学到虚假的相关性。比如在训练数据中，“人”和“马”经常一起出现，模型就可能学到一种捷径：只要看到人，就倾向于认为旁边有马，或者描述中就提到骑马，即使图中并没有马。这类偏差来自数据集本身的统计规律，被称为混淆因素：它同时影响了模型关注什么和输出什么，让模型把相关性误当成了因果关系。

CATT 怎么做

CATT 借鉴了因果推断中的“前门调整”方法，来消除混淆因素的影响。难点在于，混淆因素通常是看不见的，无法直接测量。前门调整的巧妙之处在于，不需要直接观察混淆因素，而是通过一个中间变量来阻断虚假的影响路径。

具体来说，CATT 把注意力分成两部分：样本内注意力，也就是常规的注意力，关注当前这张图片内部的区域；跨样本注意力，让模型同时关注其他样本中的特征，相当于让模型看到“在整个数据集中，类似的情况下通常会有什么”。把两者结合起来，就近似地实现了前门调整：模型的判断不再只依赖当前样本中可能带有偏差的局部关联，而是在更广泛的数据分布上进行平均，从而削弱了数据偏差带来的虚假关联。

效果

论文报告，CATT 可以方便地替换现有模型中的注意力模块，在图像描述和视觉问答等任务上提升了性能，并且减少了由数据偏差导致的错误描述。研究者还用它改进了视觉语言预训练模型，用更少的数据和计算达到了相当的效果。这项工作展示了把因果推断思想引入深度学习模型、提升鲁棒性和可解释性的思路。