AWS 蒸馏购物 Agent，4B 学生追平 GLM-5.3 老师
Agent 上线那天，团队都挺开心。月底一看账单，笑容就收了一半。
原因不复杂。用户让助手找一个“二十美元以内、店铺评分 4.5 以上的黑色腰包”，背后不是一次模型调用，而是搜索、读结果、改关键词、核对条件、下结论一整圈，每一圈都按次计费。
11 月 2 日，AWS 机器学习博客发了一篇 Agent 蒸馏的技术文章，思路是让 GLM-5.3 在 ShoppingBench 上跑出解题轨迹，只留做对的，拿去微调 Qwen3.5-4B。按 AWS 公布的数据，在购物这类能自动判分的 Agent 任务上，4B 小模型靠蒸馏可以追平约 400 亿激活参数的老师，但这个结论成立的前提，比标题听上去苛刻不少。
老师交卷，学生抄作业，抄的到底是啥
这套做法叫序列级知识蒸馏，缩写 SeqKD。说人话就是：大模型把答案写出来，小模型照着答案做监督微调。它不需要老师的权重，也不用读老师输出的概率分布，所以老师是只能走 API 的闭源模型也照样能用。DeepSeek-R1 蒸馏出一批 Qwen 和 Llama 小模型，走的也是这条路。
放到 Agent 身上，要抄的就不是一段文字了，而是一整条轨迹：想了什么，调了哪个工具，环境返回了什么，下一步又怎么接。
AWS 的做法是把 ShoppingBench 的 750 道题拆开，426 道训练，324 道留作考试。老师每道题跑两遍，一共 850 条轨迹，再让基准自带的打分器筛一遍，只留解对的。留下的轨迹拆成逐步样本，约 2600 条训练、130 条验证。
老师 GLM-5.3 来自 Z.ai，AWS 文档说它是主打软件工程和 Agent 任务的开放权重旗舰。学生是阿里的 Qwen3.5-4B，用 LoRA（只训一小撮附加参数的省钱微调法）在 SageMaker AI 的无服务器 SFT 上训了三轮，不用自己管机器。按 AWS 的说法，老师约 400 亿激活参数，学生 40 亿，差了十倍。
0.297 涨到 0.541，这个数能信到哪一步
先看成绩。三类购物意图平均下来，没微调的 Qwen3.5-4B 成功率是 0.297，蒸馏之后到了 0.541。老师贪心解码一次作答是 0.540，采样模式是 0.511，AWS 拿来当参照的一个中等规模闭源前沿模型（博客没点名）是 0.546。
翻译一下：小学生的成绩单，几乎贴上了老师和一档前沿模型。这波抄作业，抄得确实到位。
我更在意另一组对照。训练时把老师的推理过程删掉，只留工具调用，平均分掉到 0.415，少了十几个点。可见光学“做什么”不够，还得学“为什么这么做”。想自己动手蒸馏的人，这条比 0.541 更有用。
但这些数别抬太高。AWS 说明这是单次运行，几个点的波动属于正常；考试只有 324 道题；判卷靠基准自带的程序化打分器，换成自家业务，未必有这么现成的判卷人。代价也摆在明面上：通用指令遵循测试 IFEval 上，prompt 严格分从 0.819 掉到 0.741，AWS 称这是专精的正常代价。目前能查到的数据都出自 AWS 自己的实验，我没找到第三方复现。
省钱这笔账，AWS 自己都没敢报数
蒸馏的卖点是省钱，可博客没有给每个任务的成本，也没给延迟，理由是这取决于流量、序列长度和并发。这话老实，也等于把账交回了读者手里。
账的形状确实变了。前沿模型走 API，每一步都按 token 收费，用得越多付得越多。学生则部署在自己的端点上，按实例小时计费，AWS 的例子是一张 G 系列 GPU 实例，基础模型只加载一份，LoRA 适配器作为第二个推理组件挂在上面。流量大，固定费用摊薄，真香。流量小，实例空转也在烧钱，可能比 API 还贵。
我们 AI主线 的看法是，选型要先算的是自家流量下的单任务成本，而不是 0.541 这个分数。
还有个细节：AWS 演示选的老师本身就是开放权重模型。换成闭源 API 当老师，能不能拿它的输出去训别的模型，得先翻服务条款，那是另一道门槛。
天花板在哪，AWS 下一步想卖什么
AWS 自己写了两条边界。一是任务得在学生够得着的范围内，差距太大，学生只会学到格式，轨迹越写越长，准确率纹丝不动。二是 SeqKD 在最难的题上会触顶，因为 Agent 一步错步步错，而学生从没见过自己犯错之后的局面。所以 AWS 把它定位成起手式，后面还要接让学生从自己的试错里学习的 on-policy 方法。
再看时间线，路线就清楚了。无服务器模型定制 2025 年 12 月在 re:Invent 上线，2026 年 4 月加入 Qwen3.5 的 4B、9B、27B，6 月又上了面向 Agent 的多轮强化学习。SFT 起手，强化学习收尾，整条流水线已经铺好。这篇博客更像是给这条流水线做的样板间，带点“来，照着我的做”的意思。
我的判断是，蒸馏小模型这件事，对任务边界清楚、有现成判分手段的场景，已经从论文走进了能落地的工程。至于最难的那一截，多轮强化学习到底能补回多少，AWS 还没拿出同一个购物任务上的对照数据，接下来就盯这个，再盯有没有团队在真实业务里把单任务成本报出来。