如何开发一个 GAN 来生成 CIFAR10 小型彩色照片

生成对抗网络（GAN）是一种用于训练生成模型（例如用于生成图像的深度卷积神经网络）的架构。

开发用于生成图像的 GAN 需要一个判别器卷积神经网络模型，用于分类给定图像是真实的还是生成的，以及一个生成器模型，该模型使用反卷积层将输入转换为像素值的完整二维图像。

理解 GAN 的工作原理以及如何在 GAN 架构中训练深度卷积神经网络模型以进行图像生成可能具有挑战性。对于初学者来说，一个好的起点是在计算机视觉领域使用的标准图像数据集（例如 CIFAR 小物体照片数据集）上练习开发和使用 GAN。使用小而易懂的数据集意味着可以更快地开发和训练较小的模型，从而可以将重点放在模型架构和图像生成过程本身。

在本教程中，您将学习如何使用深度卷积网络开发生成对抗网络，以生成小物体照片。

完成本教程后，您将了解：

• 如何定义和训练独立的判别器模型以学习真实图像和虚假图像之间的差异。
• 如何定义独立的生成器模型并训练复合生成器和判别器模型。
• 如何评估 GAN 的性能并使用最终的独立生成器模型生成新图像。

通过我的新书《Python 生成对抗网络》**启动您的项目**，包括分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 2019 年 7 月：更新了使用最终模型时的函数名称和注释（感谢 Antonio）。

如何从头开始开发用于 CIFAR-10 小物体照片的生成对抗网络
照片由 hiGorgeous 拍摄，保留部分权利。

教程概述

本教程分为七个部分，它们是：

1. CIFAR-10 小物体照片数据集
2. 如何定义和训练判别器模型
3. 如何定义和使用生成器模型
4. 如何训练生成器模型
5. 如何评估 GAN 模型性能
6. CIFAR-10 GAN 的完整示例
7. 如何使用最终的生成器模型生成图像

CIFAR-10 小物体照片数据集

CIFAR 是加拿大高级研究所（Canadian Institute For Advanced Research）的缩写，CIFAR-10 数据集与 CIFAR-100 数据集（在下一节中介绍）由 CIFAR 研究所的研究人员共同开发。

该数据集包含 60,000 张 32×32 像素的彩色物体照片，分为 10 个类别，例如青蛙、鸟类、猫、船只、飞机等。

这些图像非常小，远小于典型的照片，该数据集旨在用于计算机视觉研究。

Keras 通过 cifar10.load_dataset() 函数提供对 CIFAR10 数据集的访问。它返回两个元组，一个包含标准训练数据集的输入和输出元素，另一个包含标准测试数据集的输入和输出元素。

下面的示例加载数据集并总结了加载数据集的形状。

注意：第一次加载数据集时，Keras 将自动下载图像的压缩版本并将其保存到您的主目录下的 _~/.keras/datasets/_ 中。下载速度很快，因为压缩后的数据集只有大约 163 兆字节。

运行示例会加载数据集并打印图像训练和测试分割的输入和输出组件的形状。

我们可以看到训练集中有 50K 个示例，测试集中有 10K 个示例，并且每个图像都是 32 乘 32 像素的正方形。

图像是彩色的，物体位于框架的中心。

我们可以使用 matplotlib 库的 imshow() 函数绘制训练数据集中的一些图像。

下面的示例绘制了训练数据集中的前 49 张图像，呈 7 乘 7 的正方形。

运行示例会创建一个图形，其中包含来自 CIFAR10 训练数据集的 49 张图像的图，排列成 7×7 的正方形。

在图中，您可以看到飞机、卡车、马、汽车、青蛙等小物体照片。

CIFAR10 数据集中前 49 张小物体照片的图。

我们将使用训练数据集中的图像作为训练生成对抗网络的基础。

具体来说，生成器模型将学习如何使用判别器生成新的、可信的物体照片，判别器将尝试区分来自 CIFAR10 训练数据集的真实图像和生成器模型输出的新图像。

这是一个非平凡的问题，需要适度的生成器和判别器模型，这些模型可能最有效地在 GPU 硬件上训练。

有关使用廉价 Amazon EC2 实例训练深度学习模型的帮助，请参阅帖子

• 如何设置 Amazon AWS EC2 GPU 来训练 Keras 深度学习模型（分步）

如何定义和训练判别器模型

第一步是定义判别器模型。

该模型必须将数据集中的样本图像作为输入，并输出分类预测，以判断样本是真实的还是伪造的。这是一个二元分类问题。

• **输入**：具有三个颜色通道和 32×32 像素大小的图像。
• **输出**：二元分类，样本为真实的（或伪造的）可能性。

判别器模型有一个正常的卷积层，后面是三个卷积层，使用 2×2 的步长对输入图像进行下采样。该模型没有 池化层，输出层中有一个带有 sigmoid 激活函数的节点，用于预测输入样本是真实的还是伪造的。该模型经过训练，旨在最小化 二元交叉熵损失函数，适用于二元分类。

我们将在定义判别器模型时采用一些最佳实践，例如使用 LeakyReLU 而不是 ReLU、使用 Dropout，以及使用 Adam 版本的随机梯度下降，学习率为 0.0002，动量为 0.5。

下面的 _define_discriminator()_ 函数定义了判别器模型并对输入图像的大小进行了参数化。

我们可以使用此函数定义判别器模型并对其进行总结。

完整的示例如下所示。

运行示例首先总结了模型架构，显示了每个层的输入和输出。

我们可以看到，激进的 2×2 步长用于对输入图像进行下采样，首先从 32×32 到 16×16，然后到 8×8，在模型进行输出预测之前更多。

这种模式是刻意设计的，因为我们不使用池化层，而是使用大步长来实现类似的下采样效果。我们将在下一节的生成器模型中看到类似的模式，但方向相反。

还创建了模型的图，我们可以看到模型期望矢量输入并预测单个输出。

**注意**：创建此图假定已安装 pydot 和 graphviz 库。如果存在问题，您可以注释掉导入语句和对 _plot_model()_ 函数的调用。

CIFAR10 生成对抗网络中判别器模型的图

我们现在可以开始使用带有类别标签为 1 的真实示例和随机生成的带有类别标签为 0 的样本来训练这个模型。

这些元素的开发将在以后有用，并且有助于理解判别器只是一个用于二元分类的普通神经网络模型。

首先，我们需要一个函数来加载和准备真实图像数据集。

我们将使用 _cifar.load_data()_ 函数加载 CIFAR-10 数据集，并只使用训练数据集的输入部分作为真实图像。

我们必须将 像素值 从 [0,255] 的无符号整数范围缩放到 [-1,1] 的标准化范围。

生成器模型将生成像素值在 [-1,1] 范围内的图像，因为它将使用 tanh 激活函数，这是一种最佳实践。

将真实图像缩放到相同范围也是一个好习惯。

下面的 _load_real_samples()_ 函数实现了真实 CIFAR-10 照片的加载和缩放。

模型将分批更新，特别是使用一组真实样本和一组生成样本。在训练时，一个 epoch 定义为通过整个训练数据集的一次遍历。

我们可以系统地列举训练数据集中的所有样本，这是一个好方法，但通过随机梯度下降进行良好训练需要每个 epoch 之前对训练数据集进行洗牌。一个更简单的方法是从训练数据集中选择随机图像样本。

下面的 _generate_real_samples()_ 函数将以训练数据集作为参数，并选择图像的随机子样本；它还将返回样本的类别标签，具体来说是类别标签 1，以表示真实图像。

现在，我们需要虚假图像的来源。

我们还没有生成器模型，因此，我们可以生成由随机像素值组成的图像，具体来说是 [0,1] 范围内的随机像素值，然后像我们的缩放真实图像一样缩放到 [-1,1] 范围。

下面的 _generate_fake_samples()_ 函数实现了这种行为，并生成了随机像素值的图像及其关联的类别标签 0（表示伪造）。

最后，我们需要训练判别器模型。

这涉及重复检索真实图像样本和生成图像样本，并更新模型固定迭代次数。

我们暂时忽略 epoch 的概念（例如，完整遍历训练数据集），并对固定数量的批次拟合判别器模型。模型将迅速学会区分真实图像和随机生成的（虚假）图像，因此在它学会完美区分之前不需要太多批次。

_train_discriminator()_ 函数实现了这一点，使用 128 张图像的批次大小，其中每次迭代有 64 张真实图像和 64 张虚假图像。

我们分别对真实和虚假示例更新判别器，以便在更新之前计算模型在每个样本上的准确性。这提供了对判别器模型随时间表现的洞察。

综合以上所有内容，下面列出了在真实图像和随机生成的（虚假）图像上训练判别器模型实例的完整示例。

运行示例首先定义模型，加载 CIFAR-10 数据集，然后训练判别器模型。

**注意**：由于算法或评估过程的随机性，或数值精度差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

在这种情况下，判别器模型很快学会区分真实和随机生成的 CIFAR-10 图像，大约在 20 个批次内。

现在我们知道如何定义和训练判别器模型，下一步是开发生成器模型。

如何定义和使用生成器模型

生成器模型负责创建新的、伪造的但可信的物体小照片。

它通过将潜在空间中的一个点作为输入并输出一个正方形彩色图像来完成此操作。

潜在空间是一个任意定义的、高斯分布值的向量空间，例如 100 维。它本身没有意义，但是通过从该空间中随机抽取点并在训练期间将其提供给生成器模型，生成器模型将为这些潜在点赋值，进而为潜在空间赋值，直到训练结束时，潜在向量空间代表输出空间（CIFAR-10 图像）的压缩表示，只有生成器知道如何将其转换为可信的 CIFAR-10 图像。

• **输入**：潜在空间中的点，例如 100 个高斯随机数元素的向量。
• **输出**：32 x 32 像素的二维方形彩色图像（3 个通道），像素值范围为 [-1,1]。

**注意**：我们不必使用 100 个元素的向量作为输入；它是一个整数且被广泛使用，但我预计 10、50 或 500 个元素也会同样有效。

开发生成器模型需要我们将一个来自潜在空间的 100 维向量转换为一个 32 x 32 x 3 的二维数组，即 3,072 个值。

有多种方法可以实现此目标，但有一种方法已证明在深度卷积生成对抗网络上有效。它涉及两个主要元素。

首先是作为第一个隐藏层的 Dense 层，它具有足够的节点来表示输出图像的低分辨率版本。具体来说，输出图像一半大小（四分之一面积）的图像将是 16x16x3，即 768 个节点；而四分之一大小（八分之一面积）的图像将是 8 x 8 x 3，即 192 个节点。

通过一些实验，我发现图像的较小低分辨率版本效果更好。因此，我们将使用 4 x 4 x 3，即 48 个节点。

我们不只想要一个低分辨率版本的图像；我们想要许多并行版本或对输入的解释。这是卷积神经网络中的一种模式，我们有许多并行滤波器，产生多个并行激活图，称为特征图，对输入有不同的解释。我们希望反过来：我们的输出有许多并行版本，具有不同的学习特征，可以在输出层中折叠成最终图像。模型需要空间来发明、创建或生成。

因此，第一个隐藏层，即 Dense 层，需要足够的节点来容纳我们输出图像的多个版本，例如 256 个。

这些节点的激活可以被重塑成图像状的东西，以传递到卷积层，例如 256 个不同的 4 x 4 特征图。

下一个主要的架构创新涉及将低分辨率图像上采样到更高分辨率的图像版本。

有两种常见的方法来执行此上采样过程，有时称为反卷积。

一种方法是使用 _UpSampling2D_ 层（类似于反向 池化层），然后是正常的 _Conv2D_ 层。另一种（可能更现代的）方法是将这两个操作组合到一个层中，称为 _Conv2DTranspose_。我们将使用后一种方法作为我们的生成器。

_Conv2DTranspose_ 层可以配置为 步长为 (2×2)，这将使输入特征图的面积翻两番（宽度和高度维度加倍）。使用与步长成比例（例如两倍）的内核大小也是一个很好的实践，以 避免棋盘格图案，这种图案有时在向上采样时会观察到。

这可以重复两次，以达到我们所需的 32 x 32 输出图像。

同样，我们将使用默认斜率为 0.2 的 LeakyReLU，据报道这是训练 GAN 模型时的最佳实践。

模型的输出层是一个 Conv2D，带有三个用于三个所需通道的过滤器和一个 3×3 的内核大小和“_same_”填充，旨在创建一个特征图并将其维度保留在 32 x 32 x 3 像素。使用 tanh 激活以确保输出值在所需的 [-1,1] 范围内，这是当前的最佳实践。

下面的 _define_generator()_ 函数实现了这一点并定义了生成器模型。

**注意**：生成器模型未编译，未指定损失函数或优化算法。这是因为生成器不是直接训练的。我们将在下一节中了解更多信息。

我们可以总结模型以更好地理解输入和输出形状。

完整的示例如下所示。

运行示例总结了模型的层及其输出形状。

我们可以看到，正如设计的那样，第一个隐藏层有 4,096 个参数或 256 x 4 x 4，其激活被重塑为 256 个 4 x 4 的特征图。然后，特征图通过三个 _Conv2DTranspose_ 层向上缩放到所需的 32 x 32 输出形状，直到输出层创建三个滤波器图（通道）。

还创建了模型的图，我们可以看到模型期望来自潜在空间的 100 元素点作为输入，并将预测一个两元素向量作为输出。

**注意**：创建此图假定已安装 pydot 和 graphviz 库。如果存在问题，您可以注释掉导入语句和对 _plot_model()_ 函数的调用。

CIFAR-10 生成对抗网络中生成器模型的图

这个模型目前能做的不多。

尽管如此，我们可以演示如何使用它来生成样本。这是一个有益的演示，可以帮助理解生成器只是另一个模型，其中一些元素在以后会很有用。

第一步是在潜在空间中生成新的点。我们可以通过调用 randn() NumPy 函数来实现这一点，该函数用于生成从标准高斯分布中提取的随机数数组。

然后可以将随机数数组重塑为样本，即 n 行，每行 100 个元素。下面的 _generate_latent_points()_ 函数实现了这一点，并生成了所需数量的潜在空间点，这些点可以用作生成器模型的输入。

接下来，我们可以使用生成的点作为生成器模型的输入来生成新样本，然后绘制这些样本。

我们可以更新前一节的 _generate_fake_samples()_ 函数，使其将生成器模型作为参数，并使用它生成所需数量的样本，方法是首先调用 _generate_latent_points()_ 函数生成所需数量的潜在空间点作为模型的输入。

更新后的 _generate_fake_samples()_ 函数列在下面，并返回生成的样本和相关的类别标签。

然后，我们可以像在第一节中绘制真实 CIFAR-10 示例一样，通过调用 imshow() 函数来绘制生成的样本。

下面列出了使用未经训练的生成器模型生成新的 CIFAR-10 图像的完整示例。

运行示例生成 49 个虚假的 CIFAR-10 图像，并将其显示在一个 7 乘 7 的图像网格中。

由于模型未经训练，生成的图像是完全随机的像素值，范围在 [-1, 1] 之间，并重新缩放到 [0, 1]。正如我们可能预期的那样，这些图像看起来像一团灰色。

未经训练的生成器模型输出的 49 张 CIFAR-10 图像示例

现在我们知道如何定义和使用生成器模型，下一步是训练模型。

如何训练生成器模型

生成器模型中的权重根据判别器模型的性能进行更新。

当判别器善于检测假样本时，生成器更新更多；当判别器模型在检测假样本时相对较差或感到困惑时，生成器模型更新较少。

这定义了这两个模型之间的零和或对抗关系。

使用 Keras API 实现此功能可能有很多方法，但最简单的方法可能是创建一个结合生成器和判别器模型的新模型。

具体来说，可以定义一个新的 GAN 模型，该模型将生成器和判别器堆叠起来，使生成器接收潜在空间中的随机点作为输入，并生成直接馈送到判别器模型的样本，进行分类，并且这个较大模型的输出可以用于更新生成器的模型权重。

需要明确的是，我们不是在谈论一个新的第三个模型，而是一个使用已经定义的独立生成器和判别器模型中的层和权重的新逻辑模型。

只有判别器关注区分真实和虚假示例，因此判别器模型可以像我们上面在判别器模型部分中所做的那样，在每种类型的示例上以独立方式进行训练。

生成器模型只关注判别器对虚假示例的性能。因此，当判别器作为 GAN 模型的一部分时，我们将判别器中的所有层标记为不可训练，以便它们不能被更新并过度训练虚假示例。

当通过这个逻辑 GAN 模型训练生成器时，还有一个重要的变化。我们希望判别器认为生成器输出的样本是真实的，而不是虚假的。因此，当生成器作为 GAN 模型的一部分进行训练时，我们将生成的样本标记为真实的（类别 1）。

我们为什么要这样做？

我们可以想象判别器会将生成的样本分类为不真实的（类别 0）或真实可能性较低的（0.3 或 0.5）。用于更新模型权重的反向传播过程会将此视为一个大错误，并将更新模型权重（即，仅更新生成器中的权重）以纠正此错误，从而使生成器更好地生成好的虚假样本。

让我们具体化。

• **输入**：潜在空间中的点，例如 100 个高斯随机数元素的向量。
• **输出**：二元分类，样本为真实的（或伪造的）可能性。

下面的 _define_gan()_ 函数将已经定义的生成器和判别器模型作为参数，并创建了一个新的、逻辑上的第三个模型，将这两个模型包含在内。判别器中的权重被标记为不可训练，这只影响 GAN 模型看到的权重，而不影响独立的判别器模型。

GAN 模型然后使用与判别器相同的二元交叉熵损失函数和高效的 Adam 版本的随机梯度下降，学习率为 0.0002，动量为 0.5，建议在训练深度卷积 GAN 时使用。

使判别器不可训练是 Keras API 中的一个巧妙技巧。

“trainable”属性在模型编译后起作用。判别器模型是用可训练层编译的，因此当通过调用 _train_on_batch()_ 函数更新独立模型时，这些层中的模型权重将被更新。

判别器模型被标记为不可训练，然后添加到GAN模型中并进行编译。在此模型中，判别器模型的模型权重不可训练，在通过调用“train_on_batch()”函数更新GAN模型时无法更改。此可训练属性的更改不影响独立判别器模型的训练。

Keras API文档中对此行为进行了描述

• 我如何“冻结”Keras层？

创建判别器、生成器和复合模型的完整示例如下所示。

运行该示例首先创建复合模型的摘要，这非常无趣。

我们可以看到模型期望将CIFAR-10图像作为输入，并预测单个值作为输出。

还创建了一个模型图，我们可以看到该模型期望将潜在空间中的100元素点作为输入，并预测单个输出分类标签。

**注意**：创建此图假定已安装 pydot 和 graphviz 库。如果存在问题，您可以注释掉导入语句和对 _plot_model()_ 函数的调用。

CIFAR-10生成对抗网络中复合生成器和判别器模型的图

训练复合模型涉及通过上一节中的“generate_latent_points()”函数在潜在空间中生成一个批量的点，以及类=1标签，并调用“train_on_batch()”函数。

下面的“train_gan()”函数演示了这一点，尽管它非常简单，因为每个 epoch 只会更新生成器，而判别器会保留默认模型权重。

相反，我们需要首先使用真实和伪样本更新判别器模型，然后通过复合模型更新生成器。

这需要结合上面判别器部分中定义的“train_discriminator()”函数和上面定义的“train_gan()”函数的元素。它还需要我们枚举每个 epoch 中的 epoch 和批次。

用于更新判别器模型和生成器（通过复合模型）的完整训练函数如下所示。

此模型训练函数中有几点需要注意。

首先，一个 epoch 中的批次数由批量大小除以训练数据集的次数决定。我们有一个5万个样本的数据集，因此向下取整后，每个 epoch 有390个批次。

判别器模型每个批次更新两次，一次使用真实样本，一次使用伪样本，这是一种最佳实践，而不是将样本组合并执行一次更新。

最后，我们报告每个批次的损失。密切关注批次之间的损失至关重要。原因在于判别器损失的崩溃表明生成器模型已开始生成判别器可以轻松区分的垃圾示例。

监控判别器损失，并期望它在每个批次中徘徊在0.5到0.8之间。生成器损失不那么关键，可能徘徊在0.5到2或更高之间。聪明的程序员甚至可以尝试检测判别器的崩溃损失，停止，然后重新启动训练过程。

我们几乎拥有了开发用于CIFAR-10物体照片数据集的GAN所需的一切。

剩余的一个方面是模型的评估。

如何评估 GAN 模型性能

通常，没有客观的方法来评估GAN模型的性能。

我们无法计算生成图像的此客观误差分数。

相反，图像必须由人类操作员主观评估质量。这意味着我们不知道何时停止训练，而无需查看生成的图像示例。反过来，训练过程的对抗性性质意味着生成器在每个批次后都在变化，这意味着一旦可以生成“足够好”的图像，图像的主观质量可能会随后的更新而变化、改进甚至退化。

有三种方法可以处理这种复杂的训练情况。

1. 定期评估判别器在真实和伪图像上的分类准确性。
2. 定期生成大量图像并将其保存到文件中以供主观审查。
3. 定期保存生成器模型。

所有这三个操作可以在给定训练周期同时执行，例如每10个训练周期。结果将是一个保存的生成器模型，我们可以主观评估其输出质量，并客观了解模型保存时判别器被欺骗的程度。

对GAN进行多个周期（例如数百或数千个周期）的训练，将产生许多模型快照，可以检查这些快照，并从中挑选出特定的输出和模型以供以后使用。

首先，我们可以定义一个名为“summarize_performance()”的函数，该函数将总结判别器模型的性能。它通过检索真实CIFAR-10图像的样本，以及使用生成器模型生成相同数量的伪CIFAR-10图像，然后评估判别器模型在每个样本上的分类准确性，并报告这些分数来完成此操作。

此函数可以根据当前时期数从“train()”函数中调用，例如每10个时期。

接下来，我们可以更新“summarize_performance()”函数，以保存模型并创建和保存生成的示例图。

可以通过调用生成器模型上的“save()”函数并提供基于训练时期号的唯一文件名来保存生成器模型。

我们可以开发一个函数来创建生成样本的图。

由于我们正在评估判别器对100个生成的CIFAR-10图像的性能，我们可以绘制大约一半，即49个，作为7x7网格。下面的“save_plot()”函数实现了这一点，同样使用基于时期号的唯一文件名保存结果图。

更新后的“summarize_performance()”函数及其新增内容如下所示。

CIFAR-10 GAN 的完整示例

我们现在拥有一切所需，可以在CIFAR-10小物体照片数据集上训练和评估GAN。

完整的示例如下所示。

注意：此示例可在CPU上运行，但可能需要数小时。该示例可在GPU上运行，例如Amazon EC2 p3实例，并在几分钟内完成。

有关设置AWS EC2实例以运行此代码的帮助，请参阅教程

• 如何设置 Amazon AWS EC2 GPU 来训练 Keras 深度学习模型（分步）