DePass 是什么？一次前向计算看清模型内部谁在起作用

DePass（Decomposed Forward Pass，分解前向传递）是一种解释 Transformer 模型内部运作的方法，由清华大学和上海人工智能实验室的研究人员提出，论文标题是《DePass：通过简单的分解前向传递实现统一的特征归因》，入选 NeurIPS 2025。它属于机制可解释性（mechanistic interpretability）研究：试图搞清楚模型内部的哪些部分、哪些信息导致了某个具体的输出。

它要回答的问题

大模型给出一个回答时，我们想知道：是输入里的哪几个词起了决定作用？是哪一层、哪个注意力头、哪个神经元在发挥作用？模型内部有没有某个“方向”专门编码了某种概念？这些问题统称为归因。已有的归因方法往往各管一类问题，有的需要额外训练辅助模型，有的只能给出近似的估计，结果不够忠实。

DePass 怎么做

DePass 的思路很直接：把模型内部的每个隐藏状态，分解成若干个可以相加的分量，比如“来自第 3 个输入词的部分”“来自第 5 层某个注意力头的部分”。然后让模型正常做一次前向计算，但在这次计算里，把注意力分数和 MLP 层的激活值固定住，让每个分量各自沿着网络往后传播。因为这些分量是可加的，到了输出端，就能精确地算出每个分量对目标表示的贡献有多大。整个过程只需要一次分解后的前向计算，不需要额外训练。

效果和意义

研究者在三个层面验证了 DePass：词级别的归因（哪些输入词重要）、模型组件级别的归因（哪些层和注意力头重要）、子空间级别的归因（某个表示方向起了什么作用），都显示出忠实、细粒度的归因效果。作为一个统一的框架，它能用同一套方法回答不同粒度的问题，为研究大模型为什么会产生幻觉、为什么会做出某种判断，提供了一个简单实用的工具。