稀疏自编码器 SAE 是什么？拆解大模型内部概念的工具

稀疏自编码器（Sparse Autoencoders，SAEs）是一种带有稀疏约束的自编码器，属于无监督学习方法。近两年，它成为大模型可解释性研究中最热门的工具之一，被 Anthropic、OpenAI、谷歌 DeepMind 等用来“打开”大模型的黑箱，看看模型内部到底学到了哪些概念。

先说自编码器

自编码器由编码器和解码器两部分组成：编码器把输入压缩成一个中间表示，解码器再从这个中间表示尽量还原出原来的输入。训练的目标就是让输出和输入的误差尽可能小，模型通过不断调整参数来做到这一点。自编码器最初是基于降维的思想提出的：如果中间表示的维度比输入小，模型就被迫学会提取最有用的特征，可以用来压缩数据、提取特征。

为什么要“稀疏”

如果中间层的节点比输入还多，普通的自编码器就可能失去学习有意义特征的能力，它可以简单地把输入原样复制过去。这时就需要对中间层加约束。稀疏自编码器的约束是：对于每一个输入，只允许很少一部分隐藏单元被激活，其余大部分都保持为零。这样，每个隐藏单元就被迫专门负责某一种特定的模式，学到的特征更有意义、更容易解释。

在大模型可解释性中的应用

研究者发现，大模型内部的神经元往往是“多义”的：一个神经元可能同时对很多毫不相干的概念有反应，难以解释。一种解释是“叠加”假说：模型要表示的概念比神经元的数量多得多，于是把很多概念叠加在同一组神经元上。稀疏自编码器正好可以用来把这些叠加的概念拆开：把模型某一层的激活作为输入，训练一个中间层非常宽、但要求稀疏激活的自编码器。训练好后，中间层的每个单元往往对应一个清晰的单一概念，比如“金门大桥”“代码里的错误”“讨好的语气”。

Anthropic 在 2024 年用这种方法从 Claude 3 Sonnet 中提取了数百万个可解释的特征，并展示了通过放大某个特征来改变模型行为的效果。稀疏自编码器让研究者能够定位、观察甚至调控模型内部的概念，是理解大模型在想什么的重要手段，不过它学到的特征能否完整、忠实地反映模型的计算，仍在研究之中。