纯卷积扩散模型 DiC 是什么？只用 3×3 卷积也能做好图像生成

纯卷积扩散模型（Diffusion CNN，DiC）是一个只用 3×3 卷积构建的扩散模型架构，由华为、北京大学和北京邮电大学的研究人员在 2025 年 6 月提出，论文标题是《DiC：重新思考扩散模型中的 3×3 卷积设计》。它被定位为一种兼顾速度与性能的扩散模型架构基线。

背景：Transformer 统治了扩散模型

早期的扩散模型，比如 Stable Diffusion 的初版，使用的是基于卷积的 U-Net 结构。2023 年扩散 Transformer（DiT）出现后，Transformer 逐渐成为扩散模型的主流架构，Sora、Stable Diffusion 3、FLUX 等都基于 Transformer。原因是 Transformer 的扩展性好：模型做大，效果持续变好。但 Transformer 的自注意力计算量随图像分辨率平方增长，推理速度较慢。

为什么回到 3×3 卷积

3×3 卷积是最基础、最经典的卷积操作，硬件对它的优化非常成熟，在各种芯片上都能跑得很快。问题是，它的感受野很小，每次只看周围一圈像素，人们普遍认为它不如 Transformer 能捕捉全局信息，所以在大模型时代逐渐被认为“过时”了。

DiC 的研究重新审视了这一点。研究者对卷积扩散模型的设计进行了系统的探索和改进：比如采用沙漏形的编码器-解码器结构来扩大有效感受野，让深层能看到更大范围；改进稀疏的跳跃连接方式，减少冗余；以及加入阶段特定的嵌入、条件门控等一系列针对扩散任务的设计。这些改进让纯 3×3 卷积的模型也能很好地扩展。

效果

论文在多种规模和设置下做了实验，结果显示 DiC 在图像生成的质量上显著优于同等规模的扩散 Transformer，同时保持了明显的推理速度优势。这项工作挑战了“扩散模型必须用 Transformer”的看法，说明经过精心设计的卷积网络依然很有竞争力，尤其适合对推理速度和部署效率要求高的场景，比如在手机等端侧设备上运行图像生成。