资讯

TFG 无训练指导是什么?不用重新训练就能控制扩散模型生成

2026-11-052 分钟阅读百科
TL;DR无训练指导(TFG)是斯坦福大学、北京大学和清华大学等在 2024 年提出的统一算法框架,在不额外训练的情况下,借助现成的判别模型引导扩散模型生成符合特定条件的样本,入选 NeurIPS 2024 Spotlight。

无训练指导(Training-Free Guidance,TFG)是一个统一的扩散模型条件生成框架,由斯坦福大学、北京大学、清华大学等机构的研究团队在 2024 年联合提出,论文标题是《TFG:扩散模型的统一无训练指导》,被 NeurIPS 2024 接收为 Spotlight 论文。

要解决的问题

扩散模型很擅长生成逼真的图像、分子、音频等内容,但常常需要按特定的条件来生成:生成某个类别的图片,生成具有某种属性的分子,生成满足某种物理约束的结构。传统的条件生成方法,要么需要用带标签的数据从头训练一个条件扩散模型,要么需要额外训练一个能处理带噪数据的分类器来引导生成。这两种方式都需要专门的训练,换一个条件就要重新训练一次,成本很高。

无训练指导的思路是:直接用一个现成的、预训练好的无条件扩散模型,再加上一个现成的判别模型(比如一个普通的图像分类器、一个分子属性预测模型),在生成过程中用判别模型的反馈来引导扩散模型,全程不需要任何额外训练。

TFG 的贡献

此前已经有多种无训练指导的方法,但它们各自采用不同的设计,效果不稳定,在不同任务上的表现差异很大,研究者也很难判断哪种方法更好、为什么。TFG 把这些已有的方法统一到一个框架中:论文证明,已有的多种方法都可以看作 TFG 在特定超参数设置下的特例。这让不同方法之间的比较有了统一的基础,也揭示了哪些设计选择真正影响效果。

基于这个统一框架,研究者系统地分析了超参数空间,并提出了一种高效的超参数搜索策略,能够针对不同的任务自动找到合适的设置。

效果

论文在 7 种扩散模型、16 个任务、40 个目标上进行了全面的实验,涵盖图像、分子、音频等多种领域,结果显示 TFG 的平均表现比已有的最好方法提升了约 8.5%。这项工作为“不训练也能控制生成”提供了一个可靠的基准和实用的工具。