SDAR 是什么？把自回归模型改造成并行生成的扩散模型

SDAR（Synergistic Diffusion-AutoRegression）是一种结合自回归和扩散两种生成方式的语言建模范式，由上海人工智能实验室在 2025 年 10 月提出，论文标题是《SDAR：面向可扩展序列生成的协同扩散-自回归范式》。

两种生成方式各有长短

主流的大语言模型是自回归的：一个 token 接一个 token 地生成，每个都依赖前面的内容。它训练高效、稳定，生成质量高，但推理时只能串行，生成长文本时很慢。扩散语言模型则可以一次并行生成多个 token，再逐步修正，推理潜力更快；但从头端到端地训练扩散语言模型成本很高，效果也往往不如同等规模的自回归模型。

SDAR 的思路

SDAR 的关键原则是把训练和推理两个阶段解耦。训练上，不去从头训练一个扩散模型，而是先用成熟的方式做完整规模的自回归预训练，确保稳定和高效；然后只进行一个轻量级的适配阶段，用少量数据，把训练好的自回归模型转换成一个“分块扩散”模型。这种转换代价很小。

推理时，SDAR 在块与块之间仍然按自回归的方式顺序生成，保证全局的连贯性；而在每个块的内部，则通过离散扩散过程并行地解码所有 token，提高速度。这样就同时得到了自回归训练的效率和扩散推理的并行性。

意义

论文报告，SDAR 在保持与自回归模型相当性能的同时，显著提升了推理的并行度和速度，并且这种转换方法可以扩展到更大规模的模型上。它为“如何利用已有的强大自回归模型，低成本地获得更快的推理速度”提供了一条实用的路径，是扩散语言模型方向的一个重要探索。