表征自编码器 RAE 是什么？用预训练视觉编码器替代 VAE

表征自编码器（Representation Autoencoders，RAE）是一种替代 VAE 的潜在空间构建方法，由纽约大学谢赛宁团队在 2025 年 10 月提出，论文标题是《使用表征自编码器的扩散 Transformer》。谢赛宁也是扩散 Transformer（DiT）的作者之一，DiT 正是 Sora 等视频模型的基础架构。

被忽视的一环

潜在生成建模是扩散 Transformer 的标准做法：先用一个预训练好的自编码器把图像像素映射到潜在空间，扩散过程在潜在空间里进行。但论文指出，自编码器这个组件几乎没有怎么进化过，大多数 DiT 仍然沿用最初的 VAE 编码器。这带来了几个局限：骨干网络过时，影响了架构的简洁性；潜在空间维度低，限制了能承载的信息量；而且因为纯粹以重建像素为目标训练，学到的表示语义很弱，最终限制了生成质量。

RAE 的做法

RAE 的思路很直接：不再专门训练一个 VAE，而是拿现成的、强大的预训练表征编码器来做编码器，比如自监督训练的 DINO、图文对比训练的 SigLIP、掩码自编码器 MAE。这些编码器本来是为图像理解训练的，学到的特征语义非常丰富。再给它配一个专门训练的解码器，负责把特征还原成图像。这样得到的潜在空间既能高质量重建，又有丰富的语义。

一个挑战是这些表征编码器输出的特征维度很高，传统观点认为扩散模型在高维潜在空间里难以训练。论文分析了其中的原因，并提出了相应的改进，让扩散 Transformer 能在这种高维、语义丰富的空间里高效训练。

效果

论文报告，基于 RAE 的扩散 Transformer 收敛更快，在 ImageNet 图像生成上取得了很好的成绩，优于基于 VAE 的同类模型。这项工作和同期的其他研究一起，推动了“用理解模型的表示来做生成”的趋势，让图像理解和图像生成可以共用更好的视觉表示。