如何评估生成对抗网络

生成对抗网络（简称GANs）是一种有效的用于开发生成模型的深度学习方法。

与其他使用损失函数直到收敛的深度学习神经网络模型不同，GAN生成器模型是使用一个名为判别器的第二模型进行训练的，该模型用于将图像分类为真实或生成的。生成器和判别器模型一起训练以维持平衡。

因此，GAN生成器模型没有用于训练的目标损失函数，也无法仅从损失函数来客观评估训练的进展以及模型相对或绝对的质量。

取而代之的是，已经开发了一系列定性和定量技术，以基于生成合成图像的质量和多样性来评估GAN模型的性能。

在本文中，您将了解基于生成合成图像的生成对抗网络模型评估技术。

阅读本文后，你将了解：

• 在训练GAN生成器模型时没有使用目标函数，这意味着必须根据生成的合成图像的质量来评估模型。
• 手动检查生成的图像是入门的好方法。
• 像Inception Score和Frechet Inception Distance这样的定量度量可以与定性评估相结合，以提供对GAN模型的稳健评估。

通过我的新书《Python生成对抗网络》开始您的项目，其中包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

如何评估生成对抗网络
照片由 Carol VanHook 拍摄，部分权利保留。

概述

本教程分为五个部分；它们是：

1. 评估GAN生成器模型的问题
2. 手动GAN生成器评估
3. 定性GAN生成器评估
4. 定量GAN生成器评估
5. 选择哪种GAN评估方案

评估GAN生成器模型的问题

生成对抗网络是一种基于深度学习的生成模型。

GAN在生成高质量和大规模合成图像方面已被证明非常有效，并在各种问题领域中得到了应用。

生成器模型不是直接训练的，而是由第二个模型（称为判别器）进行训练，该模型学会区分真实图像和假图像或生成的图像。因此，生成器模型没有目标函数或目标度量。

生成对抗网络缺乏目标函数，这使得比较不同模型的性能变得困难。

——《改进GAN训练技术》，2016。

这意味着对于评估给定的GAN生成器模型，没有普遍接受的方法。

这对GAN的研究和使用是一个问题；例如，当

• 在训练过程中选择最终的GAN生成器模型。
• 选择生成的图像来展示GAN生成器模型的能力。
• 比较GAN模型架构。
• 比较GAN模型配置。

GAN生成器模型的客观评估仍然是一个未解决的问题。

尽管已经引入了多种度量，但到目前为止，对于哪种度量最能捕捉模型的优缺点并应用于公平的模型比较，还没有达成共识。

— GAN评估度量标准的优缺点，2018。

因此，GAN生成器模型根据生成图像的质量进行评估，通常是在目标问题域的背景下。

手动GAN生成器评估

许多GAN实践者倾向于通过手动评估生成器模型合成的图像来评估GAN生成器。

这包括使用生成器模型创建一批合成图像，然后评估这些图像相对于目标域的质量和多样性。

这可以由研究人员或从业者本人执行。

通过人类视觉检查样本是评估GAN最常见和最直观的方法之一。

— GAN评估度量标准的优缺点，2018。

生成器模型经过许多训练周期迭代训练。由于没有模型性能的客观度量，我们无法知道训练过程何时应该停止，何时应该保存最终模型以供以后使用。

因此，通常使用模型训练过程中的当前状态来生成大量合成图像，并保存用于生成图像的生成器的当前状态。这允许通过其生成的图像对每个保存的模型进行事后评估。

一个训练周期是指用于更新模型的训练数据集中的图像的完整周期。模型可以系统地跨训练周期保存，例如每隔一个、五个、十个或更多训练周期。

尽管手动检查是模型评估中最简单的方法，但它也有许多局限性，包括

• 它是主观的，包括审阅者对模型、其配置和项目目标的偏见。
• 它需要了解目标域的什么才是现实的，什么不是。
• 它仅限于可以在合理时间内审查的图像数量。

……使用人类视觉评估生成图像的质量既昂贵又麻烦，存在偏见……难以重现，并且不能完全反映模型的容量。

— GAN评估度量标准的优缺点，2018。

主观性几乎肯定会导致有偏见的模型选择和挑拣，并且不应用于非平凡项目的最终模型选择。

尽管如此，对于从业者来说，在熟悉这项技术时，这是一个起点。

幸运的是，已经提出并采用了更复杂的GAN生成器评估方法。

有关全面的调查，请参阅2018年题为“GAN评估度量标准的优缺点”的论文。这篇论文将GAN生成器模型评估分为定性和定量度量，我们将在以下各节中根据此划分回顾其中的一些。

定性GAN生成器评估

定性度量是非数值的度量，通常涉及人类主观评估或通过比较进行的评估。

以下列出了五种用于评估GAN生成器模型的定性技术。

1. 最近邻。
2. 快速场景分类。
3. 评分和偏好判断。
4. 评估模式丢失和模式崩溃。
5. 调查和可视化网络内部。

定性GAN生成器评估方法总结
摘自：GAN评估度量标准的优缺点。

也许最常用的定性GAN生成器模型是对图像手动检查的扩展，称为“评分和偏好判断”。

这类实验要求受试者根据其生成图像的保真度对模型进行评分。

— GAN评估度量标准的优缺点，2018。

这是要求人类评判者对该域的真实图像和生成图像的样本进行排名或比较。

“快速场景分类”方法通常是相同的，尽管图像以非常有限的时间量呈现给人类评判者，例如一秒钟的一部分，并被分类为真实或伪造。

图像通常成对呈现，并要求人类评判者选择他们更喜欢的图像，例如，哪张图像更逼真。得分或评分是根据在这些比赛中特定模型生成图像的次数确定的。通过对多个不同的人类评判者的评分取平均值来减少评判的方差。

这是一项劳动密集型工作，尽管可以使用诸如亚马逊的Mechanical Turk之类的众包平台来降低成本，并使用Web界面来提高效率。

通过让人类注释者评判样本的视觉质量，可以获得一个直观的性能度量。我们使用亚马逊 Mechanical Turk……使用Web界面……来自动化此过程，我们用它来要求注释者区分生成数据和真实数据。

——《改进GAN训练技术》，2016。

该方法的一个主要缺点是人类评判者的性能不是固定的，并且会随着时间的推移而提高。如果他们获得反馈，例如关于如何检测生成图像的线索，情况尤其如此。

通过从此类反馈中学习，注释者能够更好地指出生成图像中的缺陷，从而提供更悲观的质量评估。

——《改进GAN训练技术》，2016。

另一个主观总结生成器性能的流行方法是“最近邻”。这包括从该域中选择真实图像样本，并找到一个或多个最相似的生成图像进行比较。

通常使用距离度量，例如图像像素数据之间的欧几里得距离，来选择最相似的生成图像。

最近邻方法有助于为评估生成图像的逼真程度提供背景。

定量GAN生成器评估

定量GAN生成器评估是指计算用于总结生成图像质量的特定数值得分。

以下列出了二十四种用于评估GAN生成器模型的定量技术。

1. 平均对数似然
2. 覆盖率指标
3. Inception Score (IS)
4. 改进的Inception Score (m-IS)
5. 模式得分
6. AM得分
7. Frechet Inception Distance (FID)
8. Maximum Mean Discrepancy (MMD)
9. Wasserstein Critic
10. 生日悖论测试
11. 分类器双样本测试 (C2ST)
12. 分类性能
13. 边界失真
14. 统计上不同的箱数 (NDB)
15. 图像检索性能
16. 生成对抗度量 (GAM)
17. 比赛胜率和技能等级
18. 归一化相对判别得分 (NRDS)
19. 对抗准确性和对抗发散性
20. 几何得分
21. 重构误差
22. 图像质量度量（SSIM、PSNR和清晰度差）
23. 低级图像统计
24. 精确率、召回率和F1分数

定量GAN生成器评估方法总结
摘自：GAN评估度量标准的优缺点。

Goodfellow等人在2014年的原始GAN论文“生成对抗网络”中使用了“平均对数似然”方法，也称为核密度估计或Parzen密度估计，来总结生成图像的质量。

这涉及估计生成器在多大程度上捕捉了该域中图像的概率分布这一挑战性方法，但总的来说，它在评估GAN方面效果不佳。

Parzen窗口估计似然有利于平凡模型，并且与样本的视觉保真度无关。此外，它在低维空间中无法近似真实似然或对模型进行排序。

— GAN评估度量标准的优缺点，2018。

Inception Score和Frechet Inception Distance是评估生成图像的两个广泛采用的度量。

Inception Score由Tim Salimans等人于2016年题为“改进GAN训练技术”的论文中提出。

Inception Score (IS) […] 可能是GAN评估中最广泛采用的分数。

— GAN评估度量标准的优缺点，2018。

计算Inception Score涉及使用预训练的深度学习神经网络模型对生成的图像进行图像分类。具体来说，使用Inception v3模型，该模型由Christian Szegedy等人于2015年题为“重新思考计算机视觉的Inception架构”的论文描述。依赖于Inception模型赋予了Inception Score其名称。

使用该模型对大量生成的图像进行分类。具体来说，预测图像属于每个类别的概率。然后，这些概率在分数中进行汇总，以同时捕获每张图像在多大程度上看起来像一个已知类别，以及图像集在已知类别中的多样性。

较高的Inception Score表示更高质量的生成图像。

Frechet Inception Distance（FID）得分由Martin Heusel等人在2017年题为“GAN通过双时间尺度更新规则训练收敛到局部纳什均衡”的论文中提出并使用。该得分被提出作为对现有Inception Score的改进。

FID在可区分性、鲁棒性和计算效率方面表现良好……。研究表明，FID与人类判断一致，并且比IS对噪声更鲁棒。

— GAN评估度量标准的优缺点，2018。

与Inception Score一样，FID得分也使用Inception v3模型。具体来说，使用模型的编码层（输出图像分类之前的最后一个池化层）来捕获输入图像的计算机视觉特定特征。这些激活是为一组真实图像和生成图像计算的。

每个真实图像和生成图像的激活被概括为一个多元高斯分布，然后使用Frechet距离（也称为Wasserstein-2距离）计算这两个分布之间的距离。

较低的FID得分表示更逼真的图像，并且与真实图像的统计特性相匹配。

选择哪种GAN评估方案

在入门时，最好从手动检查生成的图像开始，以便评估和选择生成器模型。

• 手动图像检查

对于初学者来说，开发GAN模型已经足够复杂了。在改进模型实现和测试模型配置时，手动检查可以帮助您取得很大进展。

一旦您在开发GAN模型方面的信心提高，就可以使用Inception Score和Frechet Inception Distance来定量地总结生成图像的质量。没有单一的最佳和公认的度量，尽管这两种度量接近。

到目前为止，对于最佳得分还没有达成共识。不同的得分评估了图像生成过程的各个方面，并且不太可能有一个得分能够涵盖所有方面。尽管如此，一些度量似乎比其他度量更合理（例如FID得分）。

— GAN评估度量标准的优缺点，2018。

这些度量捕捉了生成图像的质量和多样性，这些图像既独立（前者）又与真实图像（后者）进行比较，并且被广泛使用。

• Inception Score
• Frechet Inception Distance

这两种度量都易于在生成的图像批次上实现和计算。因此，在训练过程中系统地生成图像并保存模型的做法可以而且应该继续用于事后模型选择。

可以使用最近邻方法来定性地总结生成的图像。如果需要，也可以通过众包平台使用基于人类的评分和偏好判断。

• 最近邻
• 评分和偏好判断

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

• 生成对抗网络, 2014.
• GAN评估度量标准的优缺点, 2018.
• 训练 GAN 的改进技术, 2016.
• GAN通过双时间尺度更新规则训练收敛到局部纳什均衡, 2017.
• GANs是创建的平等吗？一项大规模研究, 2017.

总结

在本文中，您了解了基于生成合成图像的生成对抗网络模型评估技术。

具体来说，你学到了：

• 在训练GAN生成器模型时没有使用目标函数，这意味着必须根据生成的合成图像的质量来评估模型。
• 手动检查生成的图像是入门的好方法。
• 像Inception Score和Frechet Inception Distance这样的定量度量可以与定性评估相结合，以提供对GAN模型的稳健评估。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发生成对抗网络！

在几分钟内开发您的GAN模型

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 构建生成对抗网络

它提供了关于以下内容的自学教程和端到端项目：
DCGAN、条件GAN、图像翻译、Pix2Pix、CycleGAN
以及更多...

最终将GAN模型引入您的视觉项目

跳过学术理论。只看结果。

查看内容