如何使用 Keras 从头开始实现 Pix2Pix GAN 模型

Pix2Pix GAN 是一种生成模型，用于在配对样本上训练图像到图像的转换。

例如，该模型可用于将白天图像转换为夜晚图像，或将产品（如鞋子）的草图转换为产品照片。

Pix2Pix 模型的好处是，与用于条件图像生成的其他 GAN 相比，它相对简单，并且能够跨各种图像转换任务生成大量高质量图像。

该模型非常出色，但其架构对初学者来说似乎有些复杂。

在本教程中，您将学习如何使用 Keras 深度学习框架从头开始实现 Pix2Pix GAN 架构。

完成本教程后，您将了解：

• 如何为 Pix2Pix GAN 开发 PatchGAN 判别器模型。
• 如何为 Pix2Pix GAN 开发 U-Net 编码器-解码器生成器模型。
• 如何实现用于更新生成器的复合模型，以及如何训练这两个模型。

开启您的项目，阅读我的新书《Python 生成对抗网络》，其中包含分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 2021 年 1 月更新：已更新，以便层冻结与批处理归一化一起使用。

如何使用 Keras 从头开始实现 Pix2Pix GAN 模型
照片由 Ray in Manila 拍摄，保留部分权利。

教程概述

本教程分为五个部分；它们是：

1. 什么是 Pix2Pix GAN？
2. 如何实现 PatchGAN 判别器模型
3. 如何实现 U-Net 生成器模型
4. 如何实现对抗损失和 L1 损失
5. 如何更新模型权重

什么是 Pix2Pix GAN？

Pix2Pix 是一种生成对抗网络 (GAN) 模型，专为通用图像到图像翻译而设计。

该方法由 Phillip Isola 等人在其 2016 年题为“Image-to-Image Translation with Conditional Adversarial Networks”（条件对抗网络中的图像到图像翻译）的论文中提出，并于 2017 年在 CVPR 上发表。

GAN 架构包含一个用于输出新的逼真合成图像的生成器模型和一个用于将图像分类为真实（来自数据集）或伪造（生成）的判别器模型。判别器模型直接更新，而生成器模型通过判别器模型更新。因此，这两个模型以对抗过程同时训练，其中生成器试图更好地欺骗判别器，判别器试图更好地识别伪造图像。

Pix2Pix 模型是一种条件 GAN，或 cGAN，其中输出图像的生成取决于输入，在此情况下为源图像。判别器同时接收源图像和目标图像，并必须确定目标图像是否是源图像的合理转换。

同样，判别器模型直接更新，生成器模型通过判别器模型更新，尽管损失函数会更新。生成器通过对抗损失进行训练，该损失鼓励生成器生成目标域中逼真的图像。生成器还通过在生成的图像和期望的输出图像之间测量的 L1 损失进行更新。此额外损失鼓励生成器模型创建源图像的逼真翻译。

Pix2Pix GAN 已在多种图像到图像转换任务中得到证明，例如将地图转换为卫星照片、将黑白照片转换为彩色以及将产品草图转换为产品照片。

现在我们熟悉了 Pix2Pix GAN，让我们探讨如何使用 Keras 深度学习库来实现它。

如何实现 PatchGAN 判别器模型

Pix2Pix GAN 中的判别器模型实现为 PatchGAN。

PatchGAN 的设计基于感受野的大小，有时也称为有效感受野。感受野是模型的一个输出激活与输入图像（实际上是输入通道的体积）区域之间的关系。

使用的是 70×70 的 PatchGAN，这意味着模型的输出（或每个输出）映射到输入图像的 70×70 的方形区域。实际上，70×70 的 PatchGAN 将对输入图像的 70×70 的块进行真实或伪造的分类。

……我们设计了一个判别器架构——我们称之为 PatchGAN——它仅在块的尺度上进行惩罚。此判别器尝试对图像中的每个 NxN 块进行真实或伪造的分类。我们跨图像卷积地运行此判别器，并平均所有响应以提供 D 的最终输出。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

在我们深入研究 PatchGAN 的配置细节之前，了解感受野的计算非常重要。

感受野不是判别器模型的输出大小，例如，它不指模型输出的激活图的形状。它是模型的一种定义，指输出激活图中的一个像素与输入图像的关系。模型输出可以是一个单一值，也可以是一个方形激活图，其中值表示输入图像的每个块是真实还是伪造。

传统上，感受野是指单个卷积层相对于该层的输入、滤波器大小和步长计算的激活图大小。有效感受野推广了这一想法，并计算了堆叠卷积层相对于原始图像输入的输出的感受野。这两个术语经常互换使用。

Pix2Pix GAN 的作者提供了一个 Matlab 脚本来计算脚本 receptive_field_sizes.m 中不同模型配置的有效感受野大小。通过举例说明 70×70 PatchGAN 的感受野计算会很有帮助。

70×70 PatchGAN 拥有固定的三层（不包括输出层和倒数第二层），无论输入图像的大小如何。感受野的计算（以一维为例）为：

• 感受野 = (输出尺寸 – 1) * 步长 + 核尺寸

其中输出尺寸是前一层激活图的大小，步长是应用滤波器到激活时滤波器移动的像素数，核尺寸是应用的滤波器的大小。

PatchGAN 使用固定的步长 2×2（输出层和倒数第二层除外）和固定的核尺寸 4×4。因此，我们可以从模型输出的一个像素开始，向后追溯到输入图像，来计算感受野大小。

我们可以开发一个名为 `receptive_field()` 的 Python 函数来计算感受野，然后计算并打印 Pix2Pix PatchGAN 模型中每一层的感受野。完整示例列在下面。

运行示例将打印模型中从输出层到输入层的每一层的感受野大小。

我们可以看到，输出层中的每个 1×1 像素映射到输入层中 70×70 的感受野。

Pix2Pix 论文的作者探讨了不同的 PatchGAN 配置，包括一个 1×1 感受野（称为 PixelGAN）和一个与模型输入的 256×256 像素图像匹配（重采样为 286×286）的感受野（称为 ImageGAN）。他们发现 70×70 的 PatchGAN 在性能和图像质量之间取得了最佳的折衷。

70×70 的 PatchGAN [...] 获得了略好的分数。扩展到完整的 286×286 ImageGAN 并未显示出结果视觉质量的提升。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

PatchGAN 的配置在论文附录中提供，并且可以通过查看官方 Torch 实现中的 defineD_n_layers() 函数来确认。

该模型接受两个图像作为输入，具体来说是源图像和目标图像。这些图像在通道级别串联起来，例如，每个图像的 3 个彩色通道变为输入的 6 个通道。

令 Ck 表示一个带有 k 个滤波器的卷积-批归一化-ReLU 层。 […] 所有卷积都是 4×4 的空间滤波器，使用步长为 2。 […] 70×70 的判别器架构是：C64-C128-C256-C512。最后一层之后，应用一个卷积层将特征图映射到一维输出，然后是 Sigmoid 函数。作为上述约定的例外，批归一化未应用于第一个 C64 层。所有 ReLU 都是 leaky ReLU，斜率为 0.2。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

PatchGAN 配置使用简写符号定义为：C64-C128-C256-C512，其中 C 指的是一个卷积-批归一化-LeakyReLU 层块，数字表示滤波器的数量。批归一化不用于第一层。如前所述，核尺寸固定为 4×4，除了模型的最后 2 层外，所有层都使用 2×2 的步长。LeakyReLU 的斜率设置为 0.2，输出层使用 sigmoid 激活函数。

通过将 256×256 的输入图像缩放到 286×286，然后随机裁剪回 256×256 来应用随机抖动。权重从均值为 0、标准差为 0.02 的高斯分布初始化。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

模型权重是通过均值为 0.0、标准差为 0.02 的随机高斯分布初始化的。输入到模型图像为 256×256。

……我们在优化 D 时将目标除以 2，这减慢了 D 相对于 G 的学习速度。我们使用小批量 SGD 并应用 Adam 求解器，学习率为 0.0002，动量参数 β1 = 0.5，β2 = 0.999。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

模型以一个图像的批次大小进行训练，并使用随机梯度下降的 Adam 版本，具有较小的学习范围和适中的动量。在每次模型更新时，判别器的损失加权 50%。

将所有这些结合起来，我们可以定义一个名为 `define_discriminator()` 的函数，该函数创建 70×70 的 PatchGAN 判别器模型。

下面列出了定义模型的完整示例。

运行示例首先会总结模型，从而让我们了解输入形状如何在各层之间转换以及模型的参数数量。

我们可以看到，两个输入图像被串联起来，形成一个 256x256x6 的输入，进入第一个隐藏的卷积层。这种输入图像的级联可以在模型输入层之前完成，但让模型执行级联操作可以使模型的行为更加清晰。

我们可以看到，模型的输出将是一个 16×16 像素（或激活）的激活图，具有一个通道，图中的每个值对应于输入 256×256 图像的 70×70 像素块。如果输入图像尺寸减半为 128×128，则输出特征图也将减半为 8×8。

该模型是一个二分类模型，意味着它预测的输出是一个在 [0,1] 范围内的概率，即输入图像是真实图像还是来自目标数据集的图像的可能性。可以通过对这些值块求平均来给出模型的真实/伪造预测。在训练时，目标值与目标值矩阵进行比较，伪造为 0，真实为 1。

模型图被创建，显示了许多相同的图形信息。模型并不复杂，它有一个线性的路径，有两个输入图像和一个输出预测。

注意：创建图表假设已安装 pydot 和 pygraphviz 库。如果存在问题，可以注释掉 `plot_model()` 函数的导入和调用。

Pix2Pix GAN 架构中使用的 PatchGAN 模型图

现在我们知道如何实现 PatchGAN 判别器模型，接下来我们可以研究实现 U-Net 生成器模型。

如何实现 U-Net 生成器模型

Pix2Pix GAN 的生成器模型实现为 U-Net。

U-Net 模型是一种用于图像翻译的编码器-解码器模型，其中使用跳跃连接将编码器中的层与解码器中具有相同大小特征图的相应层连接起来。

模型编码器部分由卷积层组成，使用 2×2 的步长将输入源图像下采样到瓶颈层。模型解码器部分读取瓶颈输出，并使用转置卷积层上采样到所需的输出图像大小。

……输入通过一系列逐渐下采样的层，直到到达瓶颈层，此时过程反转。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

U-Net 生成器模型架构
摘自《条件对抗网络中的图像到图像翻译》。

在具有相同大小特征图的层之间添加了跳跃连接，因此第一个下采样层与最后一个上采样层连接，第二个下采样层与倒数第二个上采样层连接，依此类推。连接将下采样层中的特征图通道与上采样层中的特征图进行级联。

具体来说，我们在每层 i 和层 n-i 之间添加跳跃连接，其中 n 是总层数。每个跳跃连接仅将层 i 的所有通道与层 n-i 的通道进行级联。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

与 GAN 架构中的传统生成器模型不同，U-Net 生成器不从潜在空间获取输入。相反，dropout 层被用作训练期间和模型用于进行预测（例如，在推理时生成图像）时的随机性来源。

同样，在训练和推理过程中，批量归一化（batch normalization）的使用方式也相同，这意味着为每个批次计算统计数据，而不是在训练过程结束时固定。这被称为实例归一化（instance normalization），尤其是在批次大小设置为1时，就像Pix2Pix模型那样。

在推理时，我们以与训练阶段完全相同的方式运行生成器网络。这与通常的协议不同之处在于，我们在测试时应用 dropout，并使用测试批次的统计数据来应用批量归一化，而不是聚合训练批次的统计数据。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

在Keras中，像 Dropout 和 BatchNormalization 这样的层在训练和推理模型中操作方式不同。我们可以在调用这些层时将“training”参数设置为“True”，以确保它们即使在推理时也始终以训练模式运行。

例如，可以按如下方式将一个在推理和训练时都会进行 dropout 的 Dropout 层添加到模型中：

与判别器模型一样，生成器模型的配置细节定义在 论文附录 中，并且在与 官方Torch实现中的defineG_unet()函数 进行比较时可以确认。

编码器使用类似判别器模型的卷积-批量归一化-LeakyReLU块，而解码器模型使用卷积-批量归一化-Dropout-ReLU块，dropout率为50%。所有卷积层都使用4x4的滤波器大小和2x2的步幅。

令Ck表示一个具有k个滤波器的卷积-批量归一化-ReLU层。CDk表示一个具有50% dropout率的卷积-批量归一化-Dropout-ReLU层。所有卷积都是4x4的空间滤波器，以步幅2应用。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

U-Net模型的架构使用简写表示法定义为：

• 编码器: C64-C128-C256-C512-C512-C512-C512-C512
• 解码器: CD512-CD1024-CD1024-C1024-C1024-C512-C256-C128

编码器的最后一层是瓶颈层，根据论文的修正和代码中的确认，该层不使用批量归一化，而是使用 ReLU 激活 而不是 LeakyRelu。

……瓶颈层的激活被批量归一化操作归零，有效地跳过了最内层。这个问题可以通过从该层移除批量归一化来修复，正如在公开代码中所做的那样。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

U-Net解码器中的滤波器数量有点误导，因为它是与编码器中相应层连接后的滤波器的数量。当我们创建一个模型图时，这可能会更清楚。

模型的输出使用一个单一的卷积层，具有三个通道，并且在输出层使用tanh激活函数，这对于GAN生成器模型来说是常见的。编码器的第一层不使用批量归一化。

在解码器的最后一层之后，应用一个卷积来映射到输出通道的数量（通常是3 [...]），然后是一个Tanh函数 [...] 编码器的第一个C64层不应用BatchNorm。编码器中的所有ReLU都是 leaky 的，斜率为0.2，而解码器中的ReLU不是 leaky 的。

——《使用条件对抗网络进行图像到图像翻译》，2016年。

总而言之，我们可以定义一个名为define_generator()的函数，该函数定义了U-Net编码器-解码器生成器模型。还提供了两个辅助函数来定义编码器层块和解码器层块。

下面列出了定义模型的完整示例。

运行示例首先总结了模型。

该模型有一个输入和一个输出，但跳跃连接使得摘要难以阅读。

创建了模型的图，显示了很大程度上相同的信息。模型很复杂，而图有助于理解跳跃连接及其对解码器滤波器数量的影响。

注意：创建图表假设已安装 pydot 和 pygraphviz 库。如果存在问题，可以注释掉 `plot_model()` 函数的导入和调用。

从输出层倒推，如果我们查看 Concatenate 层和解码器的第一个 Conv2DTranspose 层，我们可以看到通道数量为：

• [128, 256, 512, 1024, 1024, 1024, 1024, 512].

反转此列表即可得到论文中提到的解码器各层滤波器数量的配置：

• CD512-CD1024-CD1024-C1024-C1024-C512-C256-C128

Pix2Pix GAN 架构中使用的 U-Net 编码器-解码器模型图

现在我们已经定义了两个模型，我们可以看看生成器模型是如何通过判别器模型进行更新的。

如何实现对抗损失和 L1 损失

判别器模型可以直接更新，而生成器模型必须通过判别器模型更新。

这可以通过在Keras中定义一个新的复合模型来实现，该模型将生成器模型的输出连接到判别器模型的输入。然后，判别器模型可以预测生成的图像是真实的还是伪造的。我们可以以一种方式更新复合模型的权重，使生成的图像具有“真实”的标签而不是“伪造”的标签，这将促使生成器权重更新以生成更好的伪造图像。在此上下文中，我们还可以将判别器权重标记为不可训练，以避免误导性更新。

此外，还需要更新生成器以更好地匹配目标翻译。这意味着复合模型还必须直接输出生成的图像，以便将其与目标图像进行比较。

因此，我们可以将此复合模型的输入和输出总结如下：

• 输入: 源图像
• 输出: 真实/伪造分类，生成的目标图像。

生成器的权重将通过判别器输出的对抗损失和直接图像输出的L1损失进行更新。损失分数被加在一起，其中L1损失被视为一个正则化项，并通过一个称为lambda的超参数加权，该超参数设置为100。

• loss = 对抗损失 + lambda * L1 损失

下面的define_gan()函数实现了这一点，它将定义的生成器和判别器模型作为输入，并创建可用于更新生成器模型权重的复合GAN模型。

源图像输入同时提供给生成器和判别器作为输入，生成器的输出也连接到判别器作为输入。

在模型编译时，为判别器和生成器输出分别指定了两个损失函数。loss_weights参数用于定义当它们加在一起以更新生成器模型权重时每个损失的权重。

将前面章节的模型定义与此结合，完整的示例列在下面。

运行示例，首先会总结复合模型，展示 256×256 的图像输入，来自 *model_2*（生成器）的相同形状的输出，以及来自 *model_1*（判别器）的 PatchGAN 分类预测。

复合模型的图也会被创建，展示输入图像如何流经生成器和判别器，并且模型有两个输出或终结点，分别来自两个模型。

注意：创建图表假定已安装 pydot 和 pygraphviz 库。如果存在问题，可以注释掉 plot_model() 函数的导入和调用。

Pix2Pix GAN 架构中用于训练生成器的复合 GAN 模型图

如何更新模型权重

训练定义的模型相对直接。

首先，我们必须定义一个辅助函数，该函数将选择一批真实的源图像和目标图像以及相关的输出（1.0）。在这里，数据集是两个图像数组的列表。

同样，我们需要一个函数来生成一批假图像和相关的输出（0.0）。在这里，样本是源图像的数组，将为其生成目标图像。

现在，我们可以定义单次训练迭代的步骤。

首先，我们必须调用 *generate_real_samples()* 来选择一批源图像和目标图像。

通常，批次大小 (*n_batch*) 设置为 1。在这种情况下，我们将假设输入图像为 256×256，这意味着 PatchGAN 判别器的 *n_patch* 将为 16，表示 16×16 的输出特征图。

接下来，我们可以使用选定的真实源图像批次来生成相应的生成或假目标图像批次。

然后，我们可以使用真实和虚假图像以及它们的目标来更新独立的判别器模型。

到目前为止，这与在 Keras 中更新 GAN 是一样的。

接下来，我们可以通过对抗损失和 L1 损失来更新生成器模型。回想一下，复合 GAN 模型以源图像批次作为输入，首先预测真实/虚假分类，然后生成的目标。在这里，我们向复合模型的判别器输出提供一个目标，以指示生成的图像是“*真实*”（类别=1）。真实的目标图像用于计算它们与生成的目标图像之间的 L1 损失。

我们有两个损失函数，但为批次更新计算了三个损失值，其中只有第一个损失值是相关的，因为它是在批次上对抗损失和 L1 损失的加权和。

就是这样。

我们可以将所有这些定义在一个名为 *train()* 的函数中，该函数接受定义的模型和一个加载的数据集（作为两个 NumPy 数组），并训练模型。

然后可以直接调用 train 函数，传入定义的模型和加载的数据集。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

官方

• 使用条件对抗网络进行图像到图像翻译, 2016.
• 使用条件对抗网络进行图像到图像翻译，主页.
• 使用条件对抗网络进行图像到图像翻译，GitHub.
• pytorch-CycleGAN-and-pix2pix，GitHub.
• 交互式图像到图像演示, 2017.
• Pix2Pix 数据集

API

• Keras 数据集 API.
• Keras 序列模型 API
• Keras卷积层API
• 我如何“冻结”Keras层？

文章

• 卷积神经网络的感受野计算指南, 2017.
• 问题：PatchGAN 判别器, 2017.
• receptive_field_sizes.m

总结

在本教程中，您学习了如何使用 Keras 深度学习框架从头开始实现 Pix2Pix GAN 架构。

具体来说，你学到了：

• 如何为 Pix2Pix GAN 开发 PatchGAN 判别器模型。
• 如何为 Pix2Pix GAN 开发 U-Net 编码器-解码器生成器模型。
• 如何实现用于更新生成器的复合模型，以及如何训练这两个模型。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发生成对抗网络！

在几分钟内开发您的GAN模型

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 构建生成对抗网络

它提供了关于以下内容的自学教程和端到端项目：
DCGAN、条件GAN、图像翻译、Pix2Pix、CycleGAN
以及更多...

最终将GAN模型引入您的视觉项目

跳过学术理论。只看结果。

查看内容