Wasserstein GAN 是什么？用推土机距离让对抗训练更稳定

Wasserstein 生成对抗网络（Wasserstein GAN，WGAN）是生成对抗网络的一种重要改进，由 Martin Arjovsky、Soumith Chintala 和 Léon Bottou 在 2017 年提出。它把衡量真实数据分布与生成数据分布之间差距的方式，换成了 Wasserstein 距离，显著地改善了生成对抗网络训练不稳定的问题。

原始生成对抗网络的问题

生成对抗网络由生成器和判别器组成，两者相互对抗。理论上可以证明，当判别器达到最优时，原始生成对抗网络的训练目标，等价于让生成器去最小化真实分布与生成分布之间的 JS 散度。但在实践中，原始的生成对抗网络以难以训练著称：训练过程常常不稳定，生成器和判别器之间难以保持平衡；经常出现模式崩溃，生成器只会生成少数几种样本，缺乏多样性；而且判别器和生成器的损失值很难反映生成的质量，研究者无法通过看损失曲线来判断训练进展得如何。

Arjovsky 等人在同年的另一篇论文中分析了其中的原因：在高维的空间中，真实的数据，比如自然图片，只集中在一个维度很低的“流形”上；生成器在训练初期产生的分布，也集中在另一个低维的流形上。这两个分布几乎不可能有重叠。而当两个分布没有重叠时，无论它们相距很近还是很远，JS 散度都等于同一个固定的常数。这意味着生成器得到的梯度几乎为零，它不知道应该往哪个方向改进，这就是梯度消失的问题。

Wasserstein 距离：推土机距离

Wasserstein 距离提供了一种更好的衡量方式。它有一个形象的名字，叫“推土机距离”：把一个概率分布想象成一堆土，另一个分布想象成一个坑，Wasserstein 距离就是把这堆土搬运到坑里所需要的最小工作量，工作量等于搬运的土量乘以搬运的距离。它的关键优点是：即使两个分布完全不重叠，它也能平滑地反映出两者之间的远近：两堆土离得越远，需要搬运的距离就越长，Wasserstein 距离就越大。因此，它总能为生成器提供有意义的梯度，告诉它应该朝哪个方向移动。

WGAN 怎么实现

直接计算 Wasserstein 距离非常困难，但借助一个数学上的对偶关系，它可以转化为：在所有满足 1-利普希茨约束的函数中，寻找能让“真实数据上的平均值减去生成数据上的平均值”最大的那个函数。1-利普希茨约束的意思是这个函数不能变化得太陡，输入变化一点时，输出的变化不能超过同样的幅度。于是，WGAN 对原始的生成对抗网络做了几处修改：判别器不再输出“是真是假”的概率，而是输出一个实数分数，因此它被改称为“评论家”，去掉了最后的 Sigmoid 函数；损失函数不再取对数，评论家的目标是让真实数据的分数尽量高、生成数据的分数尽量低；为了满足利普希茨约束，原始的 WGAN 在每次更新后把评论家的所有权重都裁剪到一个很小的范围内。

改进与影响

权重裁剪是一种比较粗糙的做法，会限制评论家的能力，并且可能导致训练困难。同年，Ishaan Gulrajani 等人提出了 WGAN-GP，用“梯度惩罚”代替权重裁剪：在真实样本和生成样本之间随机地插值，惩罚评论家在这些点上的梯度长度偏离 1 的程度，效果更好、更稳定，被广泛采用。2018 年提出的谱归一化，则通过限制每一层权重矩阵的最大奇异值来满足利普希茨约束，也成为稳定生成对抗网络训练的常用方法。WGAN 的另一个好处是，评论家的损失值与生成样本的质量有较好的相关性，可以用来监控训练的进展。它的提出加深了人们对生成对抗网络的理论理解，也让最优传输理论和 Wasserstein 距离在机器学习中受到了广泛的关注。