DiDi-Instruct 是什么？把扩散语言模型蒸馏成几步就能出字
TL;DRDiDi-Instruct 是普渡大学、德克萨斯大学和小红书 hi lab 等在 2025 年 9 月提出的蒸馏方法，从预训练的扩散语言模型蒸馏出只需几步生成的学生模型，效果持平甚至超过老师，速度最高快 64 倍。
DiDi-Instruct（Discrete Diffusion Divergence Instruct）是一种加速扩散语言模型的蒸馏方法，由普渡大学、德克萨斯大学和小红书 hi lab 等机构的研究人员在 2025 年 9 月提出，论文标题是《通过离散扩散散度指导实现超快语言生成》。
扩散语言模型的速度瓶颈
扩散语言模型（dLLM）是一种不同于主流自回归模型的生成方式：它不是一个词接一个词地写，而是从一段被完全遮住的文本开始，经过多步“去遮罩”，逐步把整段文字还原出来，每一步可以并行确定多个词。理论上它能比自回归模型更快，但实际上为了保证质量，往往需要很多步迭代，速度优势并不明显。
DiDi-Instruct 怎么做
它借鉴了图像扩散模型里常用的蒸馏思路：以一个预训练好的（掩码式）扩散语言模型作为老师，训练一个只需要很少几步就能生成的学生模型。它的理论基础是一个基于积分 KL 散度最小化的新框架，目标是让学生模型生成的文本分布，在整个扩散过程中都尽量接近老师模型。论文还引入了一些训练技巧，比如分组的奖励归一化、中间状态的匹配，以及一种新的采样策略，让训练更稳定、生成质量更好。
效果
论文报告，用 DiDi-Instruct 蒸馏出的模型，生成质量持平甚至超过了它的扩散语言模型老师，也超过了 GPT-2 基线，同时速度最多提升了 64 倍。和其他加速方法相比，它的训练成本也更低。
这项工作说明，扩散语言模型在推理速度上确实有巨大的潜力。如果这类方法能在更大规模的模型上同样有效，未来的大模型可能在保持质量的同时大幅降低生成延迟，这对实时对话、代码补全等对速度敏感的应用意义重大。