SVG 无 VAE 潜在扩散模型是什么？用自监督特征替代 VAE

SVG（Self-supervised representations for Visual Generation）是一种不使用变分自编码器（VAE）的潜在扩散模型，由清华大学和快手可灵团队在 2025 年 10 月提出，论文标题是《无需变分自编码器的潜在扩散模型》。

背景：VAE 加扩散的老路子

目前的图像和视频生成，大多基于潜在扩散模型：先用一个变分自编码器（VAE）把图像压缩到一个低维的潜在空间，扩散模型在这个空间里学习生成，最后再由 VAE 解码回图像。Stable Diffusion 就是这种结构。这套方案在生成高保真图像上很有效，但论文指出它有几个问题：训练效率有限、推理慢，而且学到的潜在空间很难迁移到其他视觉任务上。

研究者认为，问题的根源在于 VAE 的潜在空间缺乏清晰的语义区分和强判别性的结构：它主要为“压缩和还原像素”而训练，不同语义的内容在这个空间里混在一起。分析表明，清晰的语义结构不仅对感知和理解任务很重要，对潜在扩散模型能否稳定、高效地训练也至关重要。

SVG 的做法

SVG 直接用自监督视觉模型的特征来构建潜在空间。它采用冻结的 DINO 特征：DINO 是通过自监督学习训练的视觉模型，它的特征在语义上区分得很清楚，同类物体的特征彼此接近。但这类特征偏重语义，会丢失一些细节，直接用来重建图像不够精细。所以 SVG 额外加了一个轻量的残差分支，专门捕捉细粒度的细节，保证高质量的重建。扩散模型直接在这个语义结构清晰的潜在空间上训练。

效果和意义

论文报告，SVG 的训练效率更高，支持用更少的采样步数生成，生成质量好；而且由于潜在空间保留了 DINO 的语义能力，它还可以用于分类、分割等其他视觉任务。这项工作为生成和理解共用一个视觉表示提供了思路，也挑战了“潜在扩散模型必须依赖 VAE”的惯例。