图注意力网络 GAT 是什么？让节点自己决定该听哪个邻居的

图注意力网络（Graph Attention Network，GAT）是一种为图结构数据设计的神经网络，由 Petar Veličković 和他的同事在 2017 年提出，论文标题是《图注意力网络》，发表于 ICLR 2018。它把注意力机制引入了图神经网络。

图神经网络的基本思路

图神经网络处理的是由节点和边构成的数据，比如社交网络、论文引用网络、分子结构。它们的基本做法是：每个节点通过收集邻居节点的信息来更新自己的表示，一层层地聚合，最终每个节点的表示都包含了周围的结构信息。在图卷积网络（GCN）中，一个节点聚合邻居信息时，各个邻居的权重是由图的结构预先决定的，比如根据节点的连接数量做归一化，本质上对所有邻居差不多一视同仁。

GAT 的改进：学会区别对待

现实中，不同的邻居对一个节点的重要性往往是不同的。在社交网络里，你的密友和一个只是互相关注的陌生人，对判断你的兴趣有不同的参考价值。GAT 的做法是：让模型自己学习，在聚合信息时给每个邻居分配一个注意力权重。具体来说，对于一个节点和它的每一个邻居，GAT 根据两者的特征计算一个注意力分数，衡量这个邻居有多重要；再用 softmax 把同一个节点所有邻居的分数归一化成权重，按权重加权聚合邻居的信息。这就是论文所说的“掩码自注意力”：注意力只在相连的节点之间计算，未连接的节点被“掩码”遮住。

和 Transformer 类似，GAT 也使用了多头注意力：同时计算多组独立的注意力，再把结果拼接或平均，让学习过程更稳定，也能捕捉不同方面的关系。

优点

论文指出，GAT 解决了此前基于图卷积及其近似方法的一些局限：它不需要事先知道整个图的结构，也不需要复杂的矩阵运算，计算效率高；可以为不同的邻居分配不同的重要性，表达能力更强；而且能直接应用到训练时没见过的新图上，适合归纳式学习。学到的注意力权重还提供了一定的可解释性。GAT 在多个节点分类基准上取得了当时最好的成绩，成为图神经网络领域最常用的模型之一。