如何从头开始使用 Keras 开发辅助分类器 GAN (AC-GAN)

生成对抗网络（GAN）是一种用于训练生成模型（例如用于生成图像的深度卷积神经网络）的架构。

条件生成对抗网络，简称 cGAN，是一种 GAN，它涉及生成器模型对图像进行条件生成。图像生成可以以类别标签为条件（如果可用），从而能够有针对性地生成给定类型的图像。

辅助分类器 GAN，简称 AC-GAN，是条件 GAN 的一个扩展，它改变了判别器，使其能够预测给定图像的类别标签，而不是将类别标签作为输入。它能够稳定训练过程，并生成大型高质量图像，同时学习到与类别标签无关的潜在空间表示。

在本教程中，您将了解如何开发一个用于生成服装照片的辅助分类器生成对抗网络。

完成本教程后，您将了解：

• 辅助分类器 GAN 是一种条件 GAN，它要求判别器预测给定图像的类别标签。
• 如何为 AC-GAN 开发生成器、判别器和组合模型。
• 如何训练、评估并使用 AC-GAN 从 Fashion-MNIST 数据集生成服装照片。

用我的新书《Python 生成对抗网络》开启您的项目，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

• 2021 年 1 月更新：已更新，以便层冻结与批处理归一化一起使用。

如何从头开始使用 Keras 开发辅助分类器 GAN (AC-GAN)
照片作者：ebbe ostebo，保留部分权利。

教程概述

本教程分为五个部分；它们是：

1. 辅助分类器生成对抗网络
2. Fashion-MNIST 服装照片数据集
3. 如何定义 AC-GAN 模型
4. 如何为 Fashion-MNIST 开发 AC-GAN
5. 如何使用 AC-GAN 生成服装

辅助分类器生成对抗网络

生成对抗网络是一种用于训练生成模型（通常是用于生成图像的深度卷积神经网络）的架构。

该架构由一个生成器模型（以潜在空间中的随机点作为输入并生成图像）和一个判别器（用于将图像分类为真实（来自数据集）或伪造（生成））组成。然后，这两个模型在一个零和博弈中同时进行训练。

条件 GAN，简称 cGAN 或 CGAN，是 GAN 架构的扩展，它为潜在空间增加了结构。GAN 模型的训练方式改为：生成器同时接收潜在空间中的一个点和一个类别标签作为输入，并尝试为该类别生成图像。判别器同时接收图像和类别标签，并必须像以前一样对图像是真实还是伪造进行分类。

添加类别作为输入使得图像生成过程和图像分类过程都以类别标签为条件，因此得名。其效果是训练过程更稳定，并且生成的生成器模型可用于生成特定类型的图像，例如针对某个类别标签。

辅助分类器 GAN，简称 AC-GAN，是基于 CGAN 扩展的 GAN 架构的进一步扩展。它由 Google Brain 的 Augustus Odena 等人在 2016 年的论文“Conditional Image Synthesis with Auxiliary Classifier GANs”中提出。

与条件 GAN 一样，AC-GAN 中的生成器模型同时接收潜在空间中的一个点和类别标签作为输入，例如，图像生成过程是有条件的。

主要区别在于判别器模型，它仅以图像作为输入，而条件 GAN 则以图像和类别标签作为输入。然后，判别器模型必须像以前一样预测给定图像是真实还是伪造，并且还必须预测图像的类别标签。

… 该模型[…]是类别条件的，但带有一个辅助解码器，该解码器负责重建类别标签。

— Conditional Image Synthesis With Auxiliary Classifier GANs，2016。

该架构的描述方式是，判别器和辅助分类器可以被视为共享模型权重的独立模型。实际上，判别器和辅助分类器可以实现为具有两个输出的单个神经网络模型。

第一个输出是通过 sigmoid 激活函数计算出的一个概率，指示输入图像的“真实性”，并使用二元交叉熵进行优化，就像普通的 GAN 判别器模型一样。

第二个输出是通过 softmax 激活函数计算出的图像属于每个类别的概率，就像任何给定的多类分类神经网络模型一样，并使用分类交叉熵进行优化。

总结一下

生成器模型

• 输入：来自潜在空间的随机点和类别标签。
• 输出：生成的图像。

判别器模型

• 输入：图像。
• 输出：提供的图像为真实的概率，图像属于每个已知类别的概率。

下图总结了包括 AC-GAN 在内的一系列条件 GAN 的输入和输出，为理解它们之间的差异提供了一些背景。

条件 GAN、半监督 GAN、InfoGAN 和 AC-GAN 之间差异的总结。
来源：Conditional Image Synthesis With Auxiliary Classifier GANs 的版本。

判别器旨在最大化正确分类真实和伪造图像（LS）以及正确预测真实或伪造图像的类别标签（LC）的概率（例如，LS + LC）。生成器旨在最小化判别器区分真实和伪造图像的能力，同时最大化判别器预测真实和伪造图像类别标签的能力（例如，LC – LS）。

目标函数有两个部分：正确来源的对数似然 LS，以及正确类别的对数似然 LC。 […] D 被训练来最大化 LS + LC，而 G 被训练来最大化 LC − LS。

— Conditional Image Synthesis With Auxiliary Classifier GANs，2016。

生成的生成器学习的潜在空间表示与类别标签无关，这与条件 GAN 不同。

AC-GAN 学习的 z 表示与类别标签无关。

— Conditional Image Synthesis With Auxiliary Classifier GANs，2016。

以这种方式改变条件 GAN 的效果是：训练过程更稳定，并且模型能够生成比以前更高质量、更大尺寸的图像，例如 128×128 像素。

… 我们证明，在 GAN 潜在空间中添加更多结构以及专门的成本函数可以产生更高质量的样本。 […] 重要的是，我们定量地证明了我们的高分辨率样本不仅仅是低分辨率样本的简单缩放。

— Conditional Image Synthesis With Auxiliary Classifier GANs，2016。

Fashion-MNIST 服装照片数据集

提出了 Fashion-MNIST 数据集，作为 MNIST 手写数字数据集一个更具挑战性的替代数据集。

它是一个包含 60,000 张 28x28 像素的小型方形灰度图像的数据集，图像内容是 10 种类型的服装物品，例如鞋子、T 恤、连衣裙等。

Keras 通过 fashion_mnist.load_dataset() 函数提供了对 Fashion-MNIST 数据集的访问。它返回两个元组，一个包含标准训练数据集的输入和输出元素，另一个包含标准测试数据集的输入和输出元素。

下面的示例加载数据集并总结了加载数据集的形状。

注意：第一次加载数据集时，Keras 会自动下载该图像的压缩版本，并将其保存在您的主目录下的 ~/.keras/datasets/ 中。下载速度很快，因为数据集压缩后仅约 25MB。

运行示例会加载数据集并打印图像训练和测试分割的输入和输出组件的形状。

我们可以看到训练集中有 6 万个样本，测试集中有 1 万个样本，并且每个图像都是 28 x 28 像素的正方形。

这些图像是灰度的，背景为黑色（像素值为 0），服装为白色（像素值接近 255）。这意味着如果绘制这些图像，它们将主要是黑色的，中间有一个白色的服装。

我们可以使用 matplotlib 库和 imshow() 函数绘制训练数据集中的一些图像，并通过“cmap”参数指定颜色映射为“gray”，以正确显示像素值。

或者，当我们反转颜色并将背景显示为白色，服装显示为黑色时，图像更容易查看。

现在图像大部分是白色，感兴趣区域是黑色，因此它们更容易查看。这可以通过使用反向灰度颜色映射来实现，如下所示：

下面的示例以 10x10 的方形绘制了训练数据集的前 100 张图像。

运行该示例将创建一个包含 MNIST 训练数据集的前 100 张图像的图，这些图像排列成一个 10x10 的正方形。

Fashion MNIST 数据集的前 100 件服装图。

我们将使用训练数据集中的图像作为训练生成对抗网络的基础。

具体来说，生成器模型将学会如何生成新的逼真服装，使用判别器来尝试区分来自 Fashion MNIST 训练数据集的真实图像和生成器模型输出的新图像，并为每个图像预测类别标签。

这是一个相对简单的问题，不需要复杂的生成器或判别器模型，尽管它确实需要生成灰度输出图像。

如何定义 AC-GAN 模型

在本节中，我们将为 AC-GAN 开发生成器、判别器和组合模型。

AC-GAN 论文的附录提供了一些生成器和判别器配置的建议，我们将以此为灵感。下表总结了论文中针对 CIFAR-10 数据集的这些建议。

AC-GAN 生成器和判别器模型配置建议。
来源：Conditional Image Synthesis With Auxiliary Classifier GANs。

AC-GAN 判别器模型

让我们从判别器模型开始。

判别器模型必须以图像作为输入，并预测图像的“真实性”概率以及图像属于每个给定类别的概率。

输入图像的形状为 28x28x1，Fashion MNIST 数据集中的服装类别有 10 个。

该模型可以按照 DCGAN 架构进行定义。也就是说，使用高斯权重初始化、批量归一化、LeakyReLU、Dropout，并使用 2x2 步幅进行下采样，而不是使用池化层。

例如，下面是使用 Keras 函数式 API 定义的判别器模型主体。

主要区别在于模型有两个输出层。

第一个是具有 sigmoid 激活函数的单个节点，用于预测图像的真实性。

第二个是多个节点，每个类别一个，使用 softmax 激活函数来预测给定图像的类别标签。

然后，我们可以使用单个输入和两个输出来构建模型。

该模型必须使用两个损失函数进行训练：第一个输出层的二元交叉熵，第二个输出层的分类交叉熵损失。

与通常的做法是将独热编码的类别标签与第二个输出层进行比较不同，我们可以直接比较整数类别标签。我们可以使用稀疏分类交叉熵损失函数来实现这一点。这与分类交叉熵的效果相同，但避免了手动对目标标签进行独热编码的步骤。

在编译模型时，我们可以通过指定一个字符串函数名称列表来告知 Keras 将两个不同的损失函数用于两个输出层；例如：

模型使用随机梯度下降的 Adam 版本进行拟合，具有较小的学习率和适中的动量，这正是 DCGAN 所推荐的。

将这些内容整合起来，define_discriminator() 函数将为 AC-GAN 定义并编译判别器模型。

输入图像的形状和类别数量被参数化并设置了默认值，以便将来可以轻松地为您的项目进行更改。

我们可以定义并总结这个模型。

完整的示例如下所示。

运行示例首先会打印模型的摘要。

这证实了输入图像的预期形状以及两个输出层，尽管线性组织使得两个独立的输出层很清晰。

同时，我们创建了模型的图，显示了输入图像的线性处理以及两个清晰的输出层。

辅助分类GAN的判别器模型图

现在我们已经定义了AC-GAN的判别器模型，我们可以开发生成器模型了。

AC-GAN生成器模型

生成器模型必须接收来自潜在空间的随机点和类别标签作为输入，然后输出一个形状为28x28x1的生成灰度图像。

AC-GAN论文描述的AC-GAN生成器模型接收一个向量输入，该向量是潜在空间点（100维）和独热编码的类别标签（10维）的串联，总共110维。

一种已被证明有效且现在普遍推荐的替代方法是，将类别标签解释为生成器模型早期的一个附加通道或特征图。

这可以通过使用任意维数（例如50维）的可学习嵌入来实现，其输出可以由具有线性激活的全连接层解释，从而产生一个额外的7x7特征图。

潜在空间的点可以通过具有足够激活的全连接层来解释，以创建多个7x7特征图，在这种情况下是384个，并为我们输出图像的低分辨率版本提供基础。

类别标签的7x7单个特征图解释可以然后逐通道连接，resulting in 385 feature maps。

然后，这些特征图可以经过两个转置卷积层进行处理，将7x7的特征图首先上采样到14x14像素，然后最终上采样到28x28特征，每次上采样步骤将特征图的面积扩大四倍。

生成器的输出是单个特征图或灰度图像，形状为28x28，像素值范围为[-1, 1]，因为选择了tanh激活函数。我们使用ReLU激活来处理上采样层，而不是LeakyReLU，因为AC-GAN论文有此建议。

我们可以将所有这些内容整合到下面定义的`define_generator()`函数中，该函数将创建并返回AC-GAN的生成器模型。

该模型故意不进行编译，因为它不直接训练；相反，它通过判别器模型进行训练。

我们可以创建此模型，并对其结构进行总结和绘图。

完整的示例如下所示。

运行示例首先会打印模型中各层及其输出形状的摘要。

我们可以确认潜在维度输入是100维，类别标签输入是单个整数。我们还可以确认嵌入类别标签的输出已正确地串联为附加通道，在转置卷积层之前产生385个7x7的特征图。

摘要还证实了单个28x28灰度图像的预期输出形状。

同时，我们还创建了网络的图，总结了每一层的输入和输出形状。

该图证实了网络的两个输入以及输入的正确串联。

辅助分类GAN的生成器模型图

现在我们已经定义了生成器模型，我们可以展示如何对其进行拟合。

AC-GAN复合模型

生成器模型不直接更新；相反，它通过判别器模型进行更新。

这可以通过创建一个复合模型来实现，该模型将生成器模型堆叠在判别器模型之上。

这个复合模型的输入是生成器模型的输入，即来自潜在空间的随机点和类别标签。生成器模型直接连接到判别器模型，后者直接接收生成的图像作为输入。最后，判别器模型同时预测生成图像的真实性和类别标签。因此，复合模型使用两个损失函数进行优化，一个用于判别器的每个输出。

判别器模型使用真实和虚假样本以独立的方式进行更新，我们将在下一节回顾如何操作。因此，我们不希望在更新（训练）复合模型时更新判别器模型；我们只希望使用这个复合模型来更新生成器模型的权重。

这可以通过在编译复合模型之前将判别器的层设置为不可训练来实现。当被复合模型查看或使用时，这仅对层权重有影响，并防止它们在复合模型更新时被更新。

下面定义的`define_gan()`函数实现了这一点，它以已经定义的生成器和判别器模型作为输入，并定义了一个新的复合模型，该模型可用于仅更新生成器模型。

现在我们已经定义了AC-GAN中使用的模型，我们可以将它们拟合到Fashion-MNIST数据集上。

如何为 Fashion-MNIST 开发 AC-GAN

第一步是加载和准备Fashion MNIST数据集。

我们只需要训练数据集中的图像。这些图像是黑白的，因此我们必须添加一个额外的通道维度来将它们转换为三维，这是我们的模型卷积层所期望的。最后，像素值必须缩放到[-1,1]的范围以匹配生成器模型的输出。

下面定义的`load_real_samples()`函数实现了这一点，它返回加载和缩放后的Fashion MNIST训练数据集，准备好进行建模。

每次更新GAN模型时，我们都需要一个批次（或半个批次）的真实图像。一个简单的方法是每次从数据集中选择一个随机样本。

下面定义的`generate_real_samples()`函数实现了这一点，它以准备好的数据集作为参数，选择并返回一个随机样本的Fashion MNIST图像和服装类别标签。

提供给函数的“dataset”参数是一个列表，包含从`load_real_samples()`函数返回的图像和类别标签。该函数还返回它们对应的类别标签给判别器，特别是类别=1表示它们是真实图像。

接下来，我们需要为生成器模型准备输入。

这些是潜在空间中的随机点，具体来说是高斯分布的随机变量。

generate_latent_points() 函数实现了这一点，它接受潜在空间的大小作为参数，以及所需的点数，并将它们作为生成器模型的输入样本批次返回。该函数还返回 Fashion-MNIST 数据集中 10 个类别标签中 [0,9] 范围内（包含两端）的随机选择的整数。

接下来，我们需要使用潜在空间中的点和服装类别标签作为生成器的输入，以生成新图像。

下面的 generate_fake_samples() 函数实现了这一点，它接受生成器模型和潜在空间的大小作为参数，然后生成潜在空间中的点并使用它们作为生成器模型的输入。

该函数返回生成的图像、它们对应的服装类别标签以及它们的判别器类别标签，具体来说是类别=0，表示它们是假的或生成的。

没有可靠的方法可以确定何时停止训练 GAN；相反，可以主观地检查图像以选择最终的模型。

因此，我们可以定期使用生成器模型生成图像样本，并将生成器模型保存到文件中以供将来使用。下面的 summarize_performance() 函数实现了这一点，它生成 100 张图像，绘制它们，并将绘图和生成器保存到文件中，文件名中包含训练“step”编号。

我们现在准备好拟合GAN模型了。

模型训练 100 个训练周期，这只是一个任意值，因为模型在大约 20 个周期后就开始生成合理的衣物图像了。批量大小为 64 个样本，每个训练周期涉及 60,000/64，即约 937 个真实和虚假样本批次以及模型更新。summarize_performance() 函数每 10 个周期调用一次，即每 (937 * 10) 9,370 个训练步骤调用一次。

对于给定的训练步骤，首先，判别器模型会为一半的真实样本批次更新，然后为一半的虚假样本批次更新，两者共同构成一个权重更新批次。然后，生成器通过组合的 GAN 模型进行更新。重要的是，虚假样本的类别标签设置为 1，即真实。这会在下一个批次中将生成器更新为更好地生成真实样本。

注意，判别器和复合模型从调用 train_on_batch() 函数中返回三个损失值。第一个值是损失值的总和，可以忽略，而第二个值是真实/虚假输出层的损失，第三个值是衣物类别分类的损失。

下面的 train() 函数实现了这一点，它接受定义的模型、数据集和潜在维度的大小作为参数，并使用默认参数为训练周期数和批量大小进行参数化。生成器模型在训练结束时保存。

我们可以定义潜在空间的大小，定义所有三个模型，并在加载的 fashion MNIST 数据集上训练它们。

将所有这些联系在一起，完整的示例如下。