扩散模型是什么？从一团噪声中一步步“雕刻”出图像

扩散模型（Diffusion Model），也称为扩散概率模型或基于分数的生成模型，是一类生成模型。它的目标是学习数据的分布，从而生成与训练数据相似的新样本。扩散模型主要由几个部分组成：前向过程、反向过程和采样过程。如今最主流的图像生成和视频生成模型，比如 Stable Diffusion、Midjourney、DALL-E、Sora，背后的核心技术都是扩散模型。

核心思想：先破坏，再学习恢复

扩散模型的思路可以这样理解：把一滴墨水滴进一杯清水，墨水会逐渐扩散开来，最后整杯水变成均匀的灰色，看不出墨滴原本的形状，这个过程叫“扩散”，名字也由此而来。如果能学会把这个过程倒过来，从一杯均匀的灰水还原出原来的墨滴形状，就能“凭空”创造出新的图案。

前向过程：从一张真实的图片出发，一步一步地往上面添加少量的随机噪声。经过成百上千步之后，图片就变成了完全的随机噪声，看不出任何内容。这个过程是固定的，不需要学习。

反向过程：训练一个神经网络，让它学会逆转这个过程：给它一张带有噪声的图片，以及当前处于第几步，让它预测出图片中的噪声是什么，从而把噪声去掉一点。训练时，随机地选取图片和加噪的程度，让网络不断练习去噪。

采样过程：生成新图片时，从一团纯粹的随机噪声开始，用训练好的网络一步一步地去噪。每一步都让图像变得稍微清晰一点，经过许多步之后，一张全新的、清晰的图片就“浮现”出来了，就像雕塑家从一块石头中一点点雕刻出作品。

发展历程

扩散模型的思想最早由 Sohl-Dickstein 等人在 2015 年提出。2020 年，Jonathan Ho 等人提出的 DDPM（去噪扩散概率模型）简化了训练方法，让扩散模型生成的图像质量大幅提升。宋飏等人则从“分数匹配”的角度给出了统一的理论框架。2021 年，研究表明扩散模型在图像生成质量上超过了此前主流的生成对抗网络（GAN）。2022 年，潜空间扩散模型，也就是 Stable Diffusion 的基础，在压缩后的潜在空间而不是原始像素上进行扩散，大大降低了计算成本，结合文字条件和无分类器引导，让高质量的文生图走向大众。此后，扩散模型被推广到视频、音频、三维、分子结构和机器人动作的生成。

优缺点

扩散模型的优点是生成质量高、多样性好、训练过程稳定，不像 GAN 那样容易训练失败。它的主要缺点是生成速度慢，因为需要很多步的迭代去噪。为此研究者提出了大量的加速方法，比如更高效的采样算法、蒸馏技术、一致性模型，可以把步数从上千步减少到几步甚至一步。流匹配是近年流行的一类相关方法，很多新一代的模型采用了它。