如何识别和诊断 GAN 失败模式

如何识别生成对抗网络训练过程中的不稳定模型。

GAN 很难训练。

它们之所以难以训练，是因为生成器模型和判别器模型在一个零和博弈中同时进行训练。这意味着一个模型的改进是以牺牲另一个模型为代价的。

训练两个模型的目标是找到两个相互竞争的顾虑点之间的平衡点。

这也意味着，每次更新其中一个模型的参数时，所解决的优化问题的性质都会发生变化。这就产生了动态系统的效果。从神经网络的角度来看，同时训练两个竞争性神经网络的技术挑战在于它们可能无法收敛。

重要的是要对GAN模型的正常收敛和GAN模型的异常收敛（有时称为故障模式）产生直觉。

在本教程中，我们将首先为简单的图像生成任务开发一个稳定的GAN模型，以确定正常收敛是什么样的，以及通常会遇到什么。

然后，我们将以不同的方式损害GAN模型，并探索在训练GAN模型时可能会遇到的一系列故障模式。这些场景将帮助您培养对GAN模型未能训练时需要查找或预期什么的直觉，以及如何处理它们的想法。

完成本教程后，您将了解：

• 如何通过查看生成器和判别器随时间的损失来识别稳定的GAN训练过程。
• 如何通过查看学习曲线和生成的图像来识别模式崩溃。
• 如何通过查看生成器和判别器随时间的损失的学习曲线来识别收敛失败。

通过我的新书《Python生成对抗网络》启动您的项目，其中包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

• 更新于2020年8月：纠正了折线图上的标签。
• 2021 年 1 月更新：已更新，以便层冻结与批处理归一化一起使用。
• 更新于2021年1月：简化了模型架构，以确保我们能看到故障。

生成对抗网络故障模式的实用指南
照片来自 Jason Heavner，部分权利保留。

教程概述

本教程分为三个部分；它们是：

1. 如何识别稳定的生成对抗网络
2. 如何在生成对抗网络中识别模式崩溃
3. 如何识别生成对抗网络中的收敛失败

如何训练稳定的生成对抗网络

在本节中，我们将训练一个稳定的GAN来生成手写数字的图像。

具体来说，我们将使用MNIST手写数字数据集中的数字“8”。

该模型的运行结果将建立一个稳定的GAN，用于后续实验，并为稳定的GAN训练过程的生成图像和学习曲线提供一个配置。

第一步是定义模型。

判别器模型接收一个28×28的灰度图像作为输入，并输出一个二元预测，判断图像是真实的（类别=1）还是伪造的（类别=0）。它被实现为一个适度的卷积神经网络，采用了GAN设计的最佳实践，例如使用斜率为0.2的LeakyReLU激活函数、2×2步幅进行下采样，以及Adam优化器（一种随机梯度下降变体），学习率为0.0002，动量为0.5。

下面的define_discriminator()函数实现了这一点，定义并编译了判别器模型并返回它。图像的输入形状被参数化为一个默认的函数参数，以使其清晰。

生成器模型接收潜在空间中的一个点作为输入，并输出一个28×28的灰度图像。这是通过使用一个全连接层来解释潜在空间中的点，并提供足够的激活来将其重塑为输出图像的低分辨率版本（例如7×7）的许多副本（在本例中为128个）来实现的。然后，它通过转置卷积层对输出图像进行两次上采样，每次都使激活的大小加倍，面积增加四倍。该模型使用了最佳实践，例如LeakyReLU激活、核大小是步幅大小的因子，以及输出层中的双曲正切（tanh）激活函数。

下面的define_generator()函数定义了生成器模型，但有意不编译它，因为它不直接训练，然后返回模型。潜在空间的大小被参数化为一个函数参数。

接下来，可以定义一个GAN模型，将生成器模型和判别器模型组合成一个更大的模型。这个更大的模型将用于通过判别器模型的输出和计算出的误差来训练生成器中的模型权重。判别器模型是单独训练的，因此，在这个组合的GAN模型中，判别器模型的权重被标记为不可训练，以确保只有生成器模型的权重被更新。判别器权重的可训练性变化只在训练组合GAN模型时生效，在单独训练判别器时则不会。

这个更大的GAN模型以潜在空间中的一个点作为输入，使用生成器模型生成图像，然后将该图像作为输入馈送给判别器模型，然后输出或分类为真或假。

下面的define_gan()函数实现了这一点，它以已定义的生成器和判别器模型作为输入。

现在我们已经定义了GAN模型，我们需要训练它。但是，在训练模型之前，我们需要输入数据。

第一步是加载和缩放MNIST数据集。通过调用Keras的load_data()函数加载整个数据集，然后选择属于类别8（例如，手写数字8）的图像子集（约5000张）。然后必须将像素值缩放到[-1,1]的范围，以匹配生成器模型的输出。

下面的load_real_samples()函数实现了这一点，它返回已加载和缩放的MNIST训练数据集的子集，为建模做好准备。

我们需要在每次更新GAN模型时，从数据集中获取一个（或半个）批次的真实图像。一个简单的方法是每次都从数据集中选择一个随机样本。

下面的generate_real_samples()函数实现了这一点，它接收准备好的数据集作为参数，选择并返回一个随机的脸部图像样本及其对应的类别标签，供判别器使用，具体来说是类别=1，表示它们是真实的图像。

接下来，我们需要为生成器模型提供输入。这些是来自潜在空间的随机点，具体来说是高斯分布的随机变量。

下面的generate_latent_points()函数实现了这一点，它接收潜在空间的尺寸作为参数以及所需的点数，并将它们作为一个批次的输入样本返回给生成器模型。

接下来，我们需要使用潜在空间中的点作为生成器的输入，以生成新的图像。

下面的generate_fake_samples()函数实现了这一点，它接收生成器模型和潜在空间的大小作为参数，然后生成潜在空间中的点并使用它们作为生成器模型的输入。该函数返回生成的图像及其对应的类别标签，供判别器模型使用，具体来说是类别=0，表示它们是伪造的或生成的。

我们需要记录模型的性能。也许评估GAN性能最可靠的方法是使用生成器生成图像，然后进行审查和主观评估。

下面的summarize_performance()函数在训练过程中的特定时间点接收生成器模型，并使用它生成100张图像，将它们排列成10×10的网格，然后进行绘制并保存到文件。此时模型也会被保存到文件，以防我们想稍后使用它来生成更多图像。

除了图像质量之外，跟踪模型随时间的损失和准确率也是一个好主意。

可以跟踪判别器对真实样本和伪造样本的损失和分类准确率，以及生成器在每次更新时的损失。然后，可以在训练结束时使用这些信息来创建损失和准确率的折线图。

下面的plot_history()函数实现了这一点，并将结果保存到文件。

我们现在准备好拟合GAN模型了。

该模型训练10个训练周期，这只是一个任意值，因为模型可能在最初几个周期后就开始生成类似数字8的数字。使用了128个样本的批次大小，每个训练周期包含5851/128，即大约45个批次的真实和伪造样本以及模型更新。因此，模型被训练了10个周期，每个周期45个批次，共计450次迭代。

首先，判别器模型用一个半批次的真实样本进行更新，然后用一个半批次的伪造样本进行更新，两者共同构成一个批次的权重更新。然后通过复合GAN模型更新生成器。重要的是，伪造样本的类别标签被设置为1，即真实。这会有效地更新生成器，使其在下一个批次中更擅长生成真实样本。

下面的train()函数实现了这一点，它接收定义的模型、数据集和潜在维度大小作为参数，并使用默认参数来设置周期数和批次大小。生成器模型在训练结束时被保存。

判别器和生成器模型的性能在每个迭代中都会被报告。样本图像每周期生成并保存，模型性能的折线图在运行结束时创建并保存。

现在所有函数都已定义，我们可以创建用于存储图像和模型的目录（在此例中为“*results_baseline*”），创建模型，加载数据集，并开始训练过程。

将所有这些联系在一起，完整的示例如下。

运行示例很快，在没有 GPU 的现代硬件上大约需要 10 分钟。

您的具体结果将因学习算法的随机性而异。尽管如此，训练的总体结构应该非常相似。

首先，鉴别器损失和准确性以及生成器模型的损失会报告给控制台，每个训练循环迭代一次。

这很重要。稳定的 GAN 将具有大约 0.5 的鉴别器损失，通常在 0.5 到可能高达 0.7 或 0.8 之间。生成器损失通常更高，可能在 1.0、1.5、2.0 甚至更高附近徘徊。

鉴别器在真实图像和生成（假）图像上的准确性不会是 50%，但通常应该在 70% 到 80% 左右徘徊。

对于鉴别器和生成器，行为很可能一开始是不稳定的，并且在模型收敛到稳定平衡之前会发生很多变化。

在运行结束时创建并保存损失和准确性的折线图。

该图包含两个子图。顶部子图显示真实图像的鉴别器损失（蓝色）、生成假图像的鉴别器损失（橙色）和生成假图像的生成器损失（绿色）的折线图。

我们可以看到，所有三项损失在运行早期都有点不稳定，然后在第 100 到 300 个周期稳定下来。之后，损失保持稳定，尽管方差有所增加。

这是训练期间正常或预期损失的示例。也就是说，真实和假样本的鉴别器损失在大约 0.5 处大致相同，而生成器的损失略高，在 0.5 到 2.0 之间。如果生成器模型能够生成合理的图像，那么期望这些图像会在第 100 到 300 个周期之间生成，并且很可能也会在第 300 到 450 个周期之间生成。

底部子图显示了训练期间鉴别器在真实（蓝色）和假（橙色）图像上的准确性折线图。我们看到与损失子图类似的结构，即准确性在两种图像类型之间一开始差异很大，然后在第 100 到 300 个周期稳定在 70% 到 80% 左右，并在此之后保持稳定，尽管方差有所增加。

这些模式的时间尺度（例如，迭代次数或训练周期）和绝对值将因问题和 GAN 模型类型而异，尽管该图为稳定 GAN 模型训练时的预期提供了良好的基准。

稳定生成对抗网络的损失和准确性折线图

最后，我们可以查看生成的图像样本。注意：我们正在使用反向灰度颜色图生成图像，这意味着普通的白色背景图被反转为白色背景上的黑色图。这是为了使生成的图形更易于查看。

正如我们所料，第 100 个周期之前生成的图像样本质量相对较差。

稳定 GAN 在第 45 个周期生成的 100 张手写数字 8 的图像样本。

第 100 到 300 个周期之间生成的图像样本是合理的，也许是质量最好的。

稳定 GAN 在第 180 个周期生成的 100 张手写数字 8 的图像样本。

第 300 个周期之后生成的图像样本仍然是合理的，尽管可能噪声更多，例如背景噪声。

稳定 GAN 在第 450 个周期生成的 100 张手写数字 8 的图像样本。

这些结果很重要，因为它们突出表明，即使在训练过程稳定之后，生成的质量在运行过程中也会发生变化。

超出某个稳定训练点后，更多的训练迭代可能会或可能不会产生更高质量的图像。

我们可以将稳定 GAN 训练的这些观察结果总结如下：

• 真实和假图像的鉴别器损失预期在 0.5 左右。
• 假图像的生成器损失预期在 0.5 到 2.0 之间。
• 真实和假图像的鉴别器准确性预期在 80% 左右。
• 生成器和鉴别器损失的方差预计将保持适中。
• 生成器应在其稳定期间产生最高质量的图像。
• 训练稳定性可能会退化为高方差损失期以及相应较低质量的生成图像。

既然我们有了稳定的 GAN 模型，我们可以修改它来产生一些特定的失败案例。

在 GAN 模型在新问题上训练时，有两种常见的失败案例：模式崩溃和收敛失败。

如何在生成对抗网络中识别模式崩溃

模式崩溃是指生成器模型只能生成一种或一小组不同的结果或模式。

在此，模式是指输出分布，例如，多峰函数是指具有多个峰值或最优值的函数。对于 GAN 生成器模型，模式失败意味着输入潜在空间中的大量点（例如，在许多情况下是 100 维的超球体）会生成一个或一小组生成图像。

模式崩溃，也称为这种情况，是指生成器学会将多个不同的输入 z 值映射到同一个输出点。

— NIPS 2016 教程：生成对抗网络, 2016。

通过查看大量生成的图像样本可以识别模式崩溃。图像将显示多样性低，相同的相同图像或相同的一小组相同图像重复多次。

通过查看模型损失的折线图也可以识别模式崩溃。折线图将显示损失随时间的振荡，尤其是在生成器模型中，因为生成器模型被更新并且从生成一种模式跳到另一种具有不同损失的模式。

我们可以通过多种方式损害我们稳定的 GAN 以使其出现模式崩溃，也许最可靠的方法是直接限制潜在维的大小，迫使模型只生成一小组合理的输出。

具体来说，可以将“*latent_dim*”变量从 100 更改为 1，然后重新运行实验。

完整的代码清单如下。

运行示例将像以前一样报告每次训练步骤的损失和准确性。

在这种情况下，鉴别器的损失在合理的范围内，但生成器的损失上下波动。鉴别器的准确性也显示出更高的值，许多都在 100% 左右，这意味着对于许多批次，它在识别真实或虚假样本方面具有完美的技能，这对图像质量或多样性来说是个坏兆头。

创建并保存包含学习曲线和准确性折线图的图形。

在顶部子图中，我们可以看到生成器（绿色）的损失随时间在合理值和高值之间振荡，周期约为 25 个模型更新（批次）。我们还可以看到真实样本和假样本的鉴别器损失（橙色和蓝色）有一些小的振荡。

在底部子图中，我们可以看到鉴别器在整个运行过程中识别假图像的分类准确性仍然很高。这表明生成器在以某种一致的方式生成样本方面很差，使得鉴别器很容易识别假图像。

具有模式崩溃的生成对抗网络的损失和准确性折线图

查看生成的图像显示了模式崩溃的预期特征，即无论潜在空间中的输入点如何，都会生成许多相同的图像。碰巧我们已经将潜在空间的维度更改为非常小，以强制产生这种效果。

我选择了一个生成的图像示例来使其更清晰。图像中似乎只有几种数字 8 的类型，一种向左倾斜，一种向右倾斜，一种直立且模糊。

我在下图中用框标出了相似的示例，以使其更清晰。

遭受模式崩溃的 GAN 在第 315 个周期生成的 100 张手写数字 8 的图像样本。

根据 DCGAN 模型架构和训练配置的发现，在训练期间模式崩溃不太常见。

总而言之，您可以按如下方式识别模式崩溃：

• 生成器（可能还有鉴别器）的损失预期会随时间振荡。
• 生成器模型应从潜在空间的点生成相同的输出图像。

如何识别生成对抗网络中的收敛失败

在训练 GAN 时，最常见的失败可能是未能收敛。

通常，神经网络在训练过程中模型损失未能稳定下来时会失败。在 GAN 的情况下，未能收敛是指未能找到鉴别器和生成器之间的平衡。

识别这种失败类型的可能方式是鉴别器的损失降至零或接近零。在某些情况下，生成器的损失也可能在此期间上升并持续上升。

这种类型的损失最常由生成器输出垃圾图像引起，鉴别器可以轻松识别这些图像。

这种类型的失败可能发生在运行开始时并持续整个训练过程，此时您应该停止训练过程。对于一些不稳定的 GAN，GAN 可能会在许多批次更新或甚至许多周期内陷入这种失败模式，然后恢复。

有许多方法可以使我们稳定的 GAN 出现收敛失败，例如将一个或两个模型更改为具有不足的容量，将Adam 优化算法更改为过于激进，以及在模型中使用非常大或非常小的内核大小。

在此示例中，我们将更新示例以在更新鉴别器时合并真实和假样本。这个简单的更改将导致模型未能收敛。

这个更改就像使用 vstack() NumPy 函数组合真实和假样本，然后调用 train_on_batch() 函数来更新鉴别器模型一样简单。结果也是单一的损失和准确性分数，这意味着模型性能的报告也必须更新。

为完整起见，下面提供了包含这些更改的完整代码列表。