如何开发GAN来生成MNIST手写数字

生成对抗网络（GANs）是一种用于训练生成模型的架构，例如用于生成图像的深度卷积神经网络。

开发用于生成图像的GAN需要一个判别器卷积神经网络模型（用于分类给定图像是真实还是生成的）和一个生成器模型（使用逆卷积层将输入转换为像素值的完整二维图像）。

理解GAN的运作方式以及GAN架构中如何训练深度卷积神经网络模型进行图像生成可能具有挑战性。对于初学者来说，一个好的起点是练习在计算机视觉领域的标准图像数据集上开发和使用GAN，例如MNIST手写数字数据集。使用小型且易于理解的数据集意味着可以快速开发和训练较小的模型，从而将重点放在模型架构和图像生成过程本身。

在本教程中，您将了解如何使用深度卷积网络开发一个生成对抗网络来生成手写数字。

完成本教程后，您将了解：

• 如何定义和训练独立的判别器模型，以学习区分真实和伪造图像。
• 如何定义独立的生成器模型，并训练组合的生成器和判别器模型。
• 如何评估GAN的性能，并使用最终的独立生成器模型来生成新图像。

用我的新书《Python生成对抗网络》快速启动您的项目，其中包括分步教程以及所有示例的Python源代码文件。

让我们开始吧。

如何从头开始在Keras中为MNIST手写数字开发生成对抗网络
照片来源：jcookfisher，保留部分权利。

教程概述

本教程分为七个部分，它们是：

1. MNIST手写数字数据集
2. 如何定义和训练判别器模型
3. 如何定义和使用生成器模型
4. 如何训练生成器模型
5. 如何评估GAN模型性能
6. MNIST GAN的完整示例
7. 如何使用最终的生成器模型生成图像

MNIST手写数字数据集

MNIST 数据集是修改后的美国国家标准与技术研究所数据集的缩写。

这是一个包含70,000张28×28像素的灰度手写数字（0到9）的彩色方形图像的数据集。

任务是将给定的手写数字图像分类到 10 个类别中的一个，这些类别代表从 0 到 9（包括 0 和 9）的整数值。

Keras通过mnist.load_dataset() 函数提供对MNIST数据集的访问。它返回两个元组，一个包含标准训练数据集的输入和输出元素，另一个包含标准测试数据集的输入和输出元素。

下面的示例加载数据集并总结了加载数据集的形状。

注意：第一次加载数据集时，Keras将自动下载该图像的压缩版本，并将其保存在您的主目录下的~/.keras/datasets/中。下载速度很快，因为数据集压缩后的文件大小仅为11兆字节左右。

运行示例会加载数据集并打印图像训练和测试分割的输入和输出组件的形状。

我们可以看到训练集中有 6 万个样本，测试集中有 1 万个样本，并且每个图像都是 28 x 28 像素的正方形。

图像是灰度的，背景为黑色（像素值为0），手写数字为白色（像素值接近255）。这意味着如果绘制这些图像，它们将主要是黑色的，中间有一个白色的数字。

我们可以使用matplotlib库的imshow()函数绘制训练数据集中的一些图像，并通过“cmap”参数指定颜色映射为“gray”，以便正确显示像素值。

或者，当我们反转颜色并将背景显示为白色、手写数字显示为黑色时，图像更容易查看。

现在图像大部分是白色，感兴趣区域是黑色，因此它们更容易查看。这可以通过使用反向灰度颜色映射来实现，如下所示：

下面的示例将在5x5的方格中绘制训练数据集中前25张图像。

运行该示例会生成一个由MNIST训练数据集中的25张图像组成的5x5方格图。

MNIST数据集前25张手写数字的图。

我们将使用训练数据集中的图像作为训练生成对抗网络的基础。

具体来说，生成器模型将学习如何生成新的、看起来像真实的手写数字（0到9），而判别器则会尝试区分来自MNIST训练集中的真实图像和生成器模型输出的新图像。

这是一个相对简单的问题，不需要复杂的生成器或判别器模型，尽管它确实需要生成灰度输出图像。

如何定义和训练判别器模型

第一步是定义判别器模型。

该模型必须接收我们数据集中的样本图像作为输入，并输出一个分类预测，以判断样本是真实的还是伪造的。

这是一个二元分类问题

• 输入：具有一个通道、28×28像素大小的图像。
• **输出**：二元分类，样本为真实的（或伪造的）可能性。

判别器模型包含两个卷积层，每个层有64个滤波器，一个小的3x3核大小，以及一个大于常规的2步长。该模型没有池化层，输出层有一个节点，使用sigmoid激活函数来预测输入样本是真实的还是伪造的。模型通过最小化二元交叉熵损失函数进行训练，该函数适用于二元分类。

在定义判别器模型时，我们将使用一些最佳实践，例如使用LeakyReLU代替ReLU，使用Dropout，并使用学习率为0.0002，动量为0.5的Adam优化算法。

下面的define_discriminator()函数定义了判别器模型，并参数化了输入图像的大小。

我们可以使用此函数来定义判别器模型并对其进行总结。

完整的示例如下所示。

运行该示例将首先总结模型架构，显示每个层的输入和输出。

我们可以看到，激进的2x2步长对输入图像进行下采样，先是从28x28降到14x14，再降到7x7，然后模型做出输出预测。

这个模式是故意的，因为我们不使用池化层，而是使用大的步长来实现相似的下采样效果。在下一节的生成器模型中，我们将看到一个相似的模式，但方向相反。

模型图也会被创建，我们可以看到模型期望两个输入并预测一个输出。

注意：创建此图假定已安装pydot和graphviz库。如果这有问题，可以注释掉plot_model函数的导入语句和plot_model()函数的调用。

MNIST GAN中判别器模型的图

我们现在就可以用标签为1的真实样本和标签为0的随机生成样本来训练这个模型了。

这些元素的开发以后会很有用，它有助于我们看到判别器只是一个普通的用于二元分类的神经网络模型。

首先，我们需要一个函数来加载和准备真实图像的数据集。

我们将使用mnist.load_data()函数加载MNIST数据集，并仅使用训练数据集的输入部分作为真实图像。

图像是像素的二维数组，卷积神经网络期望输入是三维图像数组，其中每个图像有一个或多个通道。

我们必须更新图像以增加灰度通道的维度。我们可以使用expand_dims() NumPy函数来实现这一点，并为通道最后（channels-last）的图像格式指定最后一个维度。

最后，我们必须将像素值从无符号整数的[0,255]范围缩放到归一化范围[0,1]。

load_real_samples()函数实现了这一点。

模型将在批次中更新，具体来说是真实样本集合和生成样本集合。训练时，一个 epoch 被定义为通过整个训练数据集的一次完整遍历。

我们可以系统地枚举训练数据集中的所有样本，这是一种好方法，但通过随机梯度下降进行良好训练要求在每个 epoch 之前对训练数据集进行洗牌。一个更简单的方法是从训练数据集中选择随机样本。

下面的generate_real_samples()函数将以训练数据集为参数，并选择一个随机子集图像；它还将为该样本返回类别标签，具体来说是类别标签1，以表示真实图像。

现在，我们需要一个伪造图像的来源。

我们还没有生成器模型，所以我们可以生成由随机像素值组成的图像，具体来说是范围在[0,1]内的随机像素值，就像我们缩放过的真实图像一样。

下面的generate_fake_samples()函数实现了这一行为，生成随机像素值的图像及其相关的类别标签0（表示伪造）。

最后，我们需要训练判别器模型。

这包括反复检索真实图像样本和生成图像样本，并在固定数量的迭代中更新模型。

我们暂时忽略 epoch 的概念（即完整遍历训练数据集），而是拟合判别器模型固定数量的批次。该模型将能够快速学会区分真实图像和随机生成的（伪造）图像，因此，在它学会完美区分之前，不需要很多批次。

下面的train_discriminator()函数实现了这一点，使用256张图像的批次大小，其中每次迭代中有128张真实图像和128张伪造图像。

我们单独更新真实样本和伪造样本的判别器，以便在更新之前可以计算模型在每个样本上的准确率。这有助于我们了解判别器模型随时间的表现。

将所有这些结合起来，下面列出了在真实和随机生成的（伪造）图像上训练判别器模型实例的完整示例。

运行该示例首先定义模型，加载MNIST数据集，然后训练判别器模型。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能不同。考虑多次运行示例并比较平均结果。

在这种情况下，判别器模型在大约50个批次内就学会了区分真实MNIST图像和随机生成的MNIST图像。

现在我们知道如何定义和训练判别器模型，我们需要着手开发生成器模型。

如何定义和使用生成器模型

生成器模型负责创建新的、伪造但看起来真实的手写数字图像。

它通过将潜在空间中的一个点作为输入并输出一个方形灰度图像来实现这一点。

隐空间是一个任意定义的向量空间，由高斯分布值组成，例如100维。它本身没有意义，但通过从这个空间中随机抽取点并将它们在训练过程中提供给生成器模型，生成器模型会为这些隐点以及隐空间赋予意义。直到训练结束，隐向量空间才会代表输出空间（MNIST图像）的压缩表示，而只有生成器知道如何将其转换为逼真的MNIST图像。

• 输入：隐空间中的点，例如一个包含100个高斯随机数的向量。
• 输出：28×28像素的二维方形灰度图像，像素值为[0,1]。

注意：我们不必使用100维向量作为输入；这是一个常用的整数，但我想10、50或500维应该也同样有效。

开发一个生成器模型需要我们将隐空间中的一个100维向量转换为一个28×28（即784个值）的二维数组。

有多种方法可以实现这一点，但在深度卷积生成对抗网络中，有一种方法被证明是有效的。它包含两个主要元素。

第一个是作为第一个隐藏层的密集层（Dense layer），它应该有足够多的节点来表示输出图像的低分辨率版本。具体来说，输出图像尺寸的一半（面积的四分之一）将是14×14，即196个节点；输出图像尺寸的四分之一（面积的八分之一）将是7×7，即49个节点。

我们不只想要图像的一个低分辨率版本；我们想要许多并行版本或输入的解释。这是卷积神经网络的架构创新模式，其中我们有许多并行滤波器，产生多个并行激活图，称为特征图，对输入有不同的解释。我们想要反过来做：我们输出的多个并行版本，具有不同的学习特征，可以在输出层折叠成最终图像。模型需要空间来发明、创造或生成。

因此，第一个隐藏层（密集层）需要有足够多的节点来容纳我们输出图像的多个低分辨率版本，例如128个。

这些节点的激活可以被重塑成类似图像的形式，然后输入到卷积层，例如128个不同的7×7特征图。

下一个主要的架构创新涉及将低分辨率图像上采样到更高分辨率的版本。

有两种常见的方法可以实现这种上采样过程，有时称为反卷积。

一种方法是使用一个UpSampling2D层（类似于反向池化层），然后是一个正常的Conv2D层。另一种，也许更现代的方法是将这两个操作合并到一个层中，称为Conv2DTranspose。我们将采用后者的方法来构建我们的生成器。

Conv2DTranspose层可以配置一个步长（2×2），这将使输入特征图的面积翻四倍（宽度和高度翻倍）。使用步长因数（例如两倍）的核大小也是一个好习惯，以避免棋盘格图案，这种图案在上采样时可能会出现。

这可以重复进行，直到达到我们想要的28×28输出图像。

同样，我们将使用LeakyReLU，默认斜率为0.2，这是在训练GAN模型时推荐的最佳实践。

模型的输出层是一个Conv2D层，带有一个滤波器和7×7的核大小，以及‘same’填充，旨在创建一个单一的特征图并保持其维度为28×28像素。使用sigmoid激活函数是为了确保输出值在所需的[0,1]范围内。

下面的define_generator()函数实现了这一点，并定义了生成器模型。

注意：生成器模型未编译，也没有指定损失函数或优化算法。这是因为生成器不直接进行训练。我们将在下一节中了解更多关于这方面的内容。

我们可以总结模型以更好地理解输入和输出形状。

完整的示例如下所示。

运行该示例会总结模型的层及其输出形状。

我们可以看到，正如设计的那样，第一个隐藏层有6272个参数，即128 * 7 * 7，其激活被重塑为128个7×7的特征图。然后，特征图通过两个Conv2DTranspose层上采样到所需的28×28输出形状，直到输出层，在那里输出一个单一的激活图。

模型图也被创建，我们可以看到模型期望隐空间中的一个100维点作为输入，并输出一个图像。

注意：创建此图假设已安装pydot和graphviz库。如果这是个问题，您可以注释掉plot_model函数的导入语句和plot_model函数的调用。

MNIST GAN中生成器模型的图

该模型目前还做不了太多事情。

尽管如此，我们可以演示如何使用它来生成样本。这是一个有用的演示，可以理解生成器只是另一个模型，其中一些元素将在以后使用。

第一步是生成隐空间中的新点。我们可以通过调用randn() NumPy函数来生成从标准高斯分布中抽取的随机数数组。

然后可以将随机数数组重塑为样本，即n行，每行100个元素。下面的generate_latent_points()函数实现了这一点，并在隐空间生成所需数量的点，这些点可以用作生成器模型的输入。

接下来，我们可以使用生成的点作为生成器模型的输入来生成新样本，然后绘制这些样本。

我们可以更新上一节中的generate_fake_samples()函数，使其接受生成器模型作为参数，并通过首先调用generate_latent_points()函数来生成所需数量的样本，以在隐空间生成模型所需的点作为输入。

更新后的generate_fake_samples()函数如下所示，它返回生成的样本和相关的类别标签。

然后，我们可以像在第一节中处理真实MNIST示例一样，通过调用具有反向灰度颜色映射的imshow()函数来绘制生成的样本。

生成新的MNIST图像（使用未经训练的生成器模型）的完整示例列于下文。

运行该示例会生成25个伪造的MNIST图像，并将它们可视化在一个5x5的图像网格上。

由于模型未经训练，生成的图像是[0, 1]范围内的完全随机的像素值。

未经训练的生成器模型输出的25个MNIST图像示例

既然我们知道如何定义和使用生成器模型，下一步就是训练模型。

如何训练生成器模型

生成器模型中的权重根据判别器模型的性能进行更新。

当判别器善于检测假样本时，生成器更新更多；当判别器模型在检测假样本时相对较差或感到困惑时，生成器模型更新较少。

这定义了这两个模型之间的零和或对抗关系。

使用Keras API可以有很多种方法来实现这一点，但也许最简单的方法是创建一个新的模型，该模型结合了生成器和判别器模型。

具体来说，可以定义一个名为GAN的新模型，该模型堆叠生成器和判别器，使得生成器以隐空间中的随机点为输入，并生成馈入判别器模型的样本，然后进行分类。这个更大模型的输出可用于更新生成器的模型权重。

为了说清楚，我们不是在谈论一个全新的第三方模型，只是一个利用已定义的独立生成器和判别器模型的层和权重的新逻辑模型。

只有判别器关心区分真实和伪造的样本，因此判别器模型可以独立地在每种样本上进行训练，就像我们在上面的判别器模型部分中所做的那样。

生成器模型只关心判别器在伪造样本上的表现。因此，当判别器模型作为GAN模型的一部分时，我们将把判别器中的所有层标记为不可训练，这样它们就不会被更新并过度拟合到伪造样本上。

通过这个逻辑GAN模型训练生成器时，还有一个重要的变化。我们希望判别器认为生成器输出的样本是真实的，而不是伪造的。因此，当生成器作为GAN模型的一部分进行训练时，我们将生成的样本标记为真实（类别1）。

为什么要这样做？

我们可以想象，判别器会将生成的样本分类为不真实（类别0）或真实的可能性很低（0.3或0.5）。用于更新模型权重的反向传播过程将看到这是一个很大的错误，并将更新模型权重（即只更新生成器中的权重）来纠正这个错误，从而使生成器能够更好地生成高质量的伪造样本。

让我们具体化。

• 输入：隐空间中的点，例如一个包含100个高斯随机数的向量。
• **输出**：二元分类，样本为真实的（或伪造的）可能性。

下面的define_gan()函数接受已定义的生成器和判别器模型作为参数，并创建了包含这两个模型的新逻辑模型。判别器的权重被标记为不可训练，这仅影响GAN模型看到的权重，而不影响独立的判别器模型。

GAN模型然后使用与判别器相同的二元交叉熵损失函数，以及高效的Adam随机梯度下降版本，学习率为0.0002，动量为0.5，这是训练深度卷积GAN时推荐的。

使判别器不可训练是 Keras API 中的一个巧妙技巧。

可训练属性在模型编译后才会生效。判别器模型已编译了可训练层，因此在通过调用train_on_batch()函数更新独立模型时，这些层的模型权重将被更新。

然后，判别器模型被标记为不可训练，添加到GAN模型中并进行编译。在此模型中，判别器模型权重是不可训练的，并且在通过调用train_on_batch()函数更新GAN模型时不能被更改。这个可训练属性的改变不会影响独立判别器模型的训练。

Keras API文档中对此行为进行了描述

• 我如何“冻结”Keras层？

创建判别器、生成器和组合模型的完整示例列于下文。

运行该示例首先会创建一个组合模型的摘要。

我们可以看到，模型期望MNIST图像作为输入，并预测一个单一的输出值。

模型图也被创建，我们可以看到模型期望隐空间中的一个100维点作为输入，并预测一个单一的输出分类标签。

注意：创建此图假定已安装pydot和graphviz库。如果这有问题，可以注释掉plot_model函数的导入语句和plot_model()函数的调用。

MNIST GAN中组合生成器和判别器模型的图

训练组合模型涉及通过上一节的generate_latent_points()函数生成一个批次的隐空间点，以及class=1标签，并调用train_on_batch()函数。

下面的train_gan()函数演示了这一点，尽管它很简单，因为每个epoch只更新生成器，判别器保持默认的模型权重。

相反，我们需要首先使用真实和伪样本更新判别器模型，然后通过复合模型更新生成器。

这需要结合前面判别器部分定义的train_discriminator()函数和上面定义的train_gan()函数中的元素。它还需要我们对每个epoch中的epoch和batch进行枚举。

用于更新判别器模型和生成器（通过复合模型）的完整训练函数如下所示。

这个模型训练函数中有几点需要注意。

首先，每个epoch中的batch数量由batch大小除以训练数据集的次数决定。我们有一个60K样本的数据集，向下取整后，每个epoch有234个batch。

判别器模型通过vstack() NumPy函数将一半的伪样本和一半的真实样本组合成一个批次进行更新。您可以单独更新每个半批次的判别器（推荐用于更复杂的数据集），但在长期运行中，特别是在GPU硬件上训练时，将样本组合成一个批次会更快。

最后，我们报告每个batch的损失。密切关注batch上的损失至关重要。原因在于，判别器损失的崩溃表明生成器模型已经开始生成垃圾样本，判别器很容易辨别。

监控判别器损失，并期望它在这个数据集上每个batch的损失在0.5到0.8之间波动。生成器损失不太关键，在这个数据集上可能在0.5到2或更高之间波动。一个聪明的程序员甚至可能尝试检测判别器损失的崩溃，然后停止并重新启动训练过程。

我们几乎拥有开发MNIST手写数字数据集GAN所需的一切。

剩余的一个方面是模型的评估。

如何评估GAN模型性能

通常，没有客观的方法来评估GAN模型的性能。

我们无法计算生成图像的目标误差分数。对于MNIST图像来说，这可能是可能的，因为图像的约束性很强，但总的来说，这是不可能的（至少目前还不行）。

相反，图像必须由人工操作员主观评估其质量。这意味着我们无法在不查看生成图像示例的情况下知道何时停止训练。反过来，训练过程的对抗性本质意味着生成器在每个batch后都会改变，这意味着一旦生成了“足够好”的图像，图像的主观质量可能会随着后续更新而变化、提高甚至降低。

有三种方法可以处理这种复杂的训练情况。

1. 定期评估判别器在真实和伪造图像上的分类准确率。
2. 定期生成大量图像并将其保存到文件中以供主观审查。
3. 定期保存生成器模型。

所有这三项操作都可以同时在给定的训练epoch中执行，例如每五个或十个训练epoch执行一次。结果将是一个已保存的生成器模型，我们可以通过它来主观评估其输出质量，并客观地了解在模型保存时判别器被愚弄的程度。

将GAN训练数百或数千个epoch，将产生许多模型快照，可以对其进行检查，并从中挑选特定的输出和模型供以后使用。

首先，我们可以定义一个名为summarize_performance()的函数，它将总结判别器模型的性能。它通过检索MNIST真实图像样本，并使用生成器模型生成相同数量的MNIST伪造图像，然后评估判别器模型在每个样本上的分类准确率并报告这些分数来做到这一点。

此函数可以根据当前 epoch 数，例如每 10 个 epoch 调用一次 train() 函数。

接下来，我们可以更新 summarize_performance() 函数，以保存模型并创建和保存生成的示例图。

可以通过调用生成器模型的 save() 函数并提供基于训练 epoch 数的唯一文件名来保存生成器模型。

我们可以开发一个函数来创建生成的样本图。

由于我们在对 100 个生成的 MNIST 图像评估判别器，因此我们可以将所有 100 张图像绘制成 10x10 的网格。下面的 save_plot() 函数实现了这一点，同样使用基于 epoch 数量的唯一文件名保存结果图。

下面列出了更新了这些附加项的 summarize_performance() 函数。

MNIST GAN的完整示例

现在，我们拥有了在 MNIST 手写数字数据集上训练和评估 GAN 所需的一切。

完整的示例如下所示。

注意：此示例可以在 CPU 上运行，但可能需要数小时。该示例可以在 GPU 上运行，例如 Amazon EC2 p3 实例，并且将在几分钟内完成。

有关设置 AWS EC2 实例来运行此代码的帮助，请参阅教程

• 如何设置 Amazon AWS EC2 GPU 来训练 Keras 深度学习模型（分步）