字节给 Qwen3 MoE 配了百万特征显微镜，只拆了三层

一个 MoE 模型里有一百多个专家，每个 token 只叫醒其中几个，它们到底各管什么？以前大伙多半只能盯着路由日志猜，看着像分工，又说不准。

11 月 5 日，字节 Seed 在 Hugging Face 放出了 Qwen3-30B-A3B-MoE-SAE，协议是 Apache-2.0。它在 Qwen3-30B-A3B 的第 4、30、46 层各训了一个 TopK 稀疏自编码器，每个有 2 的 20 次方（1048576）个特征，每次只许 100 个亮着。我们 AI主线 的看法是：字节 Seed 这套权重把观察点放在 MoE 块输出，跟常见的残差流位置错开，只覆盖 48 层里的 3 层，属于研究者手里的精密仪器，写代码、做选型的人暂时用不上。

稀疏自编码器拆的是什么，MoE 为啥要单独来一套

先翻译一下。模型某个位置的激活是个 2048 维的向量，各种概念搅在一起，像一段乐队合奏的录音。稀疏自编码器（SAE）干的事，就是把它拆成一条条单独的乐器轨：用一个大得多的特征库重新表示，而且每次只允许很少几个特征出声。

位置选得有讲究。按 Qwen 官方模型卡，Qwen3-30B-A3B 总参数 30.5B，每个 token 只激活 3.3B，每层 128 个专家，每次挑 8 个。字节的 SAE 读的是 MoE 块的输出，也就是被挑中的专家们的结果汇总后、加回残差之前的那一份。读这里，看到的是这一层的专家贡献了什么，比读混着全部历史的残差流更贴近专家本身。

至于专家有没有分工，论文标题给的说法是 SAE 能揭示 MoE 专家有人类读得懂的细粒度分工。这是字节自己的说法，模型卡上论文链接还挂着 TODO，证据暂时看不到，只能算先画了个饼。不过这个方向并不孤单：汉堡大学团队 2026 年 4 月挂上 arXiv 的一篇论文，用探针的办法也认为专家更像细粒度的任务专家，比如专管 LaTeX 里闭合括号这类操作，说它们懂生物、懂代码都显得太粗。方法不同，别当成同一份证据，但两头指向同一个方向，我觉得可信度比单篇高一截。

Qwen 自家早有 Scope，这是抄作业还是错开做

Qwen 团队 2026 年 5 月发过 Qwen-Scope，Qwen3-30B-A3B-Base 上最宽的一档 SAE 约 13 万个特征，48 层每层都有，挂在残差流上。字节这套约 105 万个，是它的 8 倍，层数只有 3 层，位置换成了 MoE 块输出。

抄作业？我看是错开。Qwen 官方走广度和落地：全层覆盖，论文里拿 SAE 做推理时的干预、评测集去冗余、数据分类，还用来压制语言混杂和无休止的重复输出。字节走的是深度和专家视角：层少，特征库大，位置专挑 MoE 块。一个管每层都有，一个管看得细，对研究者是互补。给别家的模型配套，也只有开放权重的模型才轮得到，Qwen3-30B-A3B 是 Apache-2.0，谁都能动。

Google DeepMind 2024 年 7 月放出 Gemma Scope，覆盖 Gemma 2；2025 年底又推出 Gemma Scope 2，Gemma 3 从 270M 到 27B 的每层都有，还带上了转码器。Google 自己说这是 AI 实验室迄今最大的开源可解释性工具发布。各家在这条线上也算卷起来了，只是卷的是研究基础设施，热闹程度没法跟新模型发布比。

17GB 一块，还原得准不准

先算硬件账。每层的 sae.safetensors 约 17.2GB，全是 float32，三层加起来五十多 GB。模型卡说跑起来 SAE 要在模型之外再占约 17GB 显存，每个 token 的稠密预激活还要吃 4 MiB，长文本得切块编码。卡片里附了一段用 transformers 挂钩子取 MoE 输出再编码的示例，照着改就能跑通流程（真香的前提是你有张大显存的卡）。

更该盯的是还原精度。论文报告了 FVU，也就是重建之后还有多少方差没被解释，越低越好：第 4 层 12.6%，第 30 层 25.1%，第 46 层 7.6%。翻成人话，用 SAE 还原第 30 层的 MoE 输出，大约四分之一的信息没复原出来。我觉得这是整套权重里很坦白的一块数字：显微镜有盲区，盲区还偏偏落在中间那层，缺口最大。中间层是不是概念最丰富的地方，这个直觉对不对，得等论文怎么讲。在那之前，第 30 层的特征我会当线索看，不会当定论，缺的那四分之一里，可能恰好装着你要找的东西。

训练配方也交代了：每个 SAE 用约 32 亿 token，语料取自 Ai2 的 Olmo 3 训练集，八分之五是 Dolma 3 预训练数据，四分之一是推理链，八分之一是指令数据。好处是第三方公开数据，别人能复现；它跟 Qwen 自己见过的数据差多远，是评估这套特征可信度时绕不开的问题。

对天天用 AI 的人，到底有啥用

直说，这东西不会让你明天的 Cursor 变聪明，选型表里也不会多出一行分数。开发者和创作者基本可以路过。对想弄清 MoE 为啥这么"专"的研究者，还有爱在本地折腾 Qwen3-30B-A3B 的玩家，它是现成的零件，协议上没有设门槛。

接下来 AI主线 会盯三件事。一是论文本体放出来，专家分工的证据是几个漂亮样例，还是做过干预实验，关掉某个特征输出真的会变；二是剩下的 45 层会不会补上；三是别的开放权重 MoE 有没有人照着配一套。

我自己的期待很具体：哪天有人拿这套特征找到一个关掉就会让输出跟着变的专家，这套权重才算从摆件变成工具。