Step 5 Preview 是什么：阶跃星辰窄而深的智能体模型

它是什么

Step 5 Preview 是阶跃星辰在 2026 年 9 月 20 日发布的旗舰预览模型，定位是智能体和专业工作。它是混合专家（MoE）架构，总参数 600B、激活参数 27B，上下文窗口 1M token，许可证是 StepFun Model License 1.0。官方随后在 10 月 15 日发了一篇技术博客，详细讲了架构和训练上的取舍。

为什么做成“窄而深”

官方的出发点是智能体任务的特点：工具调用多，每次调用都要先读入大量上下文（预填充），模型没多少机会写长长的思维链，所以更依赖在读上下文的过程中完成“隐式推理”。而多跳推理很吃网络深度。阶跃的选择是最直接的办法：把层数加上去。Step 5 Preview 有 92 个 Transformer 块，深度和 Qwen3.8-Max、Kimi K3 这类超大开源模型相当，但总参数和激活参数都小得多。

注意力怎么省

它按 3:1 交错使用高效注意力层和全注意力层。高效注意力部分比较了多种线性注意力方案后选了门控滑动窗口注意力（Gated SWA）；全注意力部分基于门控 GQA，并提出了 Sparse GQA：受 DeepSeek 稀疏注意力（DSA）启发加入稀疏索引，每个 KV 组独立挑选相关的历史块，再通过分块 token 合并压缩索引器自身的开销。目的是在 1M 上下文下，训练和推理都不被全注意力拖垮。

深网络的训练稳定性

技术博客里最有干货的是稳定性部分。网络变深后，官方遇到了数值爆炸和梯度尖峰，这些问题在浅而宽的网络里很少出现。他们的对策包括：隐藏状态改用 FP32，避免少数超大激活值在 BF16 下迅速失控；RMSNorm 的缩放参数改用 FP32，解决 BF16 在 -1 附近精度不够、导致通道反复开关的问题；以及更细粒度的梯度裁剪，压住中间层被逐层放大的梯度尖峰。整体训练用 FP8 混合精度。

智能体训练

数据上，官方搭了一套“智能体原生”的数据构建系统，由多个智能体在专家制定的原则和质检下协同合成数据。强化学习部分，重点处理轨迹变长后更突出的问题：训练和推理不一致、rollout 效率、上下文管理和信用分配。

适合谁

它目前是预览版，适合做智能体产品、想评估国产长上下文模型的团队先试用。对研究者来说，这篇技术博客关于深网络训练稳定性的经验，本身就很有参考价值。AI 主线的看法是：在大家都往宽里堆专家的时候，阶跃选了往深里走，正式版的实际表现值得关注。