FID 是什么？衡量生成图像和真实图像有多接近的指标

Fréchet Inception Distance（FID）是一种评估生成图像质量的性能指标，由 Martin Heusel 等人在 2017 年提出，论文标题是《通过双时间尺度更新规则训练的 GAN 收敛到局部纳什均衡》。它计算真实图像的特征和生成图像的特征之间的距离：FID 分数越低，代表生成器生成的图像越接近真实图像，质量越好。它是如今图像生成领域使用最广泛的评价指标之一。

它是怎么计算的

FID 同样借助了在 ImageNet 上预训练好的 Inception 图像分类网络，但用法和 Inception Score 不同：它不看网络最后的分类结果，而是取网络较深的一层输出的特征向量。这些特征向量浓缩了图像的高层语义信息，比如图像中有什么物体、是什么风格、整体的结构如何。

计算时，分别把一大批真实图像和一大批生成图像都输入 Inception 网络，得到两组特征向量。然后假设这两组特征各自服从多维正态分布，分别计算出它们的均值和协方差矩阵。最后，用弗雷歇距离（也叫 Wasserstein-2 距离）来衡量这两个正态分布之间的差异。弗雷歇距离同时考虑了两个分布的中心位置（均值）是否接近，以及形状和分散程度（协方差）是否相似。如果生成图像和真实图像在特征上的分布几乎一样，FID 就接近于零。

比 Inception Score 好在哪里

FID 是在 Inception Score 之后提出的，它弥补了后者的一些缺陷。最重要的一点是，FID 直接把生成的图像和真实的图像进行比较，衡量的是“生成的图像像不像真实的数据”，而 Inception Score 只看生成的图像本身。FID 也同时反映了质量和多样性：如果生成的图像质量差，均值会偏离；如果生成的图像缺乏多样性，比如只会生成几种样式，协方差就会和真实数据不同，FID 都会变高。研究发现，FID 和人类对图像质量的判断更加一致，对图像的模糊、噪声等失真也更加敏感。

局限

FID 也有它的问题：它的数值受样本数量影响，样本太少时估计不准，通常需要用数万张图像来计算；它假设特征服从正态分布，这只是一种近似；它依赖 Inception 网络在 ImageNet 上学到的特征，对于和 ImageNet 差异很大的图像领域，比如医学影像，可能不够准确；而且它只衡量整体分布，不能评价单张图像，也不衡量生成的图像是否符合文字提示。因此，文生图模型的评估通常还会结合 CLIP 分数等衡量图文一致性的指标，以及人工评价。