如何开发用于图像到图像转换的 Pix2Pix GAN

Pix2Pix 生成对抗网络（GAN）是一种用于图像到图像翻译任务的深度卷积神经网络训练方法。

通过将架构精心配置为图像条件式 GAN，与之前的 GAN 模型（例如 256x256 像素）相比，它不仅能够生成大型图像，还能够很好地执行各种不同的图像到图像翻译任务。

在本教程中，您将学习如何开发用于图像到图像翻译的 Pix2Pix 生成对抗网络。

完成本教程后，您将了解：

• 如何加载和准备卫星图像到谷歌地图的图像到图像翻译数据集。
• 如何开发 Pix2Pix 模型用于将卫星照片翻译成谷歌地图图像。
• 如何使用最终的 Pix2Pix 生成器模型来翻译临时卫星图像。

通过我的新书《使用 Python 的生成对抗网络》**启动您的项目**，其中包括**分步教程**和所有示例的 **Python 源代码**文件。

让我们开始吧。

• 2021 年 1 月更新：已更新，以便层冻结与批处理归一化一起使用。

如何开发用于图像到图像翻译的 Pix2Pix 生成对抗网络
照片由 欧洲南方天文台提供，保留部分权利。

教程概述

本教程分为五个部分；它们是：

1. 什么是 Pix2Pix GAN？
2. 卫星到地图图像翻译数据集
3. 如何开发和训练 Pix2Pix 模型
4. 如何使用 Pix2Pix 模型翻译图像
5. 如何将谷歌地图翻译成卫星图像

什么是 Pix2Pix GAN？

Pix2Pix 是一种生成对抗网络 (GAN) 模型，专为通用图像到图像翻译而设计。

该方法由 Phillip Isola 等人于 2016 年发表的论文《基于条件对抗网络的图像到图像翻译》中提出，并于 2017 年在 CVPR 上展示。

GAN 架构由一个生成器模型（用于输出新的可信合成图像）和一个判别器模型（将图像分类为真实的（来自数据集）或伪造的（生成的））组成。判别器模型直接更新，而生成器模型通过判别器模型更新。因此，这两个模型在对抗过程中同时训练，生成器试图更好地欺骗判别器，判别器则试图更好地识别伪造图像。

Pix2Pix 模型是一种条件 GAN，或称 cGAN，其输出图像的生成以输入为条件，在本例中是一个源图像。判别器同时接收源图像和目标图像，并且必须确定目标是否是源图像的合理转换。

生成器通过对抗性损失进行训练，这鼓励生成器在目标域中生成可信的图像。生成器也通过生成图像和预期输出图像之间测量的 L1 损失进行更新。这种额外的损失鼓励生成器模型创建源图像的合理转换。

Pix2Pix GAN 已在各种图像到图像翻译任务中得到验证，例如将地图转换为卫星照片、将黑白照片着色以及将产品草图转换为产品照片。

现在我们已经熟悉了 Pix2Pix GAN，接下来让我们准备一个可用于图像到图像翻译的数据集。

卫星到地图图像翻译数据集

在本教程中，我们将使用 Pix2Pix 论文中所谓的“地图”数据集。

这是一个包含纽约卫星图像及其对应谷歌地图页面的数据集。图像翻译问题涉及将卫星照片转换为谷歌地图格式，或反之，将谷歌地图图像转换为卫星照片。

该数据集在 pix2pix 网站上提供，可以下载为 255 兆字节的 zip 文件。

• 下载地图数据集 (maps.tar.gz)

下载数据集并将其解压缩到当前工作目录。这将创建一个名为“maps”的目录，其结构如下：

训练文件夹包含1,097张图片，而验证数据集包含1,099张图片。

图像以数字文件名存储，采用 JPEG 格式。每张图像宽 1,200 像素，高 600 像素，包含左侧的卫星图像和右侧的 Google 地图图像。

地图数据集中的示例图像，包括卫星图像和谷歌地图图像。

我们可以准备这个数据集，用于在 Keras 中训练 Pix2Pix GAN 模型。我们只处理训练数据集中的图像。每张图像将被加载、重新缩放并分割成卫星图像和谷歌地图图像元素。结果将是 1,097 对彩色图像，宽度和高度均为 256x256 像素。

下面的 `load_images()` 函数实现了这一点。它遍历给定目录中的图像列表，以 256x512 像素的目标大小加载每张图像，将每张图像分割为卫星和地图元素，并返回每个元素的数组。

我们可以使用训练数据集的路径调用此函数。加载后，我们可以将准备好的数组以压缩格式保存到一个新文件中，以备后用。

完整的示例如下所示。

运行示例会加载训练数据集中的所有图像，总结它们的形状以确保图像正确加载，然后将数组以压缩的 NumPy 数组格式保存到一个名为 `maps_256.npz` 的新文件中。

该文件可以在以后通过 load() NumPy 函数加载，并依次检索每个数组。

然后我们可以绘制一些图像对来确认数据已正确处理。

运行此示例将加载准备好的数据集并总结每个数组的形状，确认我们对一千多对 256x256 图像的预期。

同时创建了三对图像的图表，显示顶部的卫星图像和底部的谷歌地图图像。

我们可以看到卫星图像相当复杂，虽然谷歌地图图像简单得多，但它们对主要道路、水域和公园等事物有颜色编码。

三对图像的图，显示卫星图像（上）和谷歌地图图像（下）。

现在我们已经为图像翻译准备好了数据集，接下来我们可以开发我们的 Pix2Pix GAN 模型。

如何开发和训练 Pix2Pix 模型

在本节中，我们将开发 Pix2Pix 模型，用于将卫星照片翻译成谷歌地图图像。

论文中描述的模型架构和配置在各种图像翻译任务中都得到了应用。这种架构在论文主体中进行了描述，并在论文附录中提供了额外细节，以及使用 Torch 深度学习框架提供了完整的工作实现作为开源代码。

本节中的实现将使用 Keras 深度学习框架，直接基于论文中描述并作者代码库中实现的模型，旨在接收和生成大小为 256x256 像素的彩色图像。

该架构由两个模型组成：判别器和生成器。

判别器是一个执行图像分类的深度卷积神经网络。具体来说，是条件图像分类。它同时接收源图像（例如卫星照片）和目标图像（例如 Google 地图图像）作为输入，并预测目标图像是真实的还是源图像的虚假翻译的可能性。

判别器的设计基于模型的有效感受野，它定义了模型的一个输出与输入图像中像素数量之间的关系。这被称为 PatchGAN 模型，经过精心设计，使得模型的每个输出预测都映射到输入图像的 70x70 像素块或补丁。这种方法的优点是，同一个模型可以应用于不同大小的输入图像，例如大于或小于 256x256 像素的图像。

模型的输出取决于输入图像的大小，但可能是一个值或值的方形激活图。每个值都是输入图像中某个块为真实的概率。这些值可以平均以给出整体的概率或分类分数（如果需要）。

下面的 `define_discriminator()` 函数根据论文中的模型设计实现了 70x70 PatchGAN 判别器模型。该模型接收两个输入图像，它们被连接在一起并预测一个补丁预测输出。该模型使用二元交叉熵进行优化，并使用权重，以便对模型的更新具有通常一半（0.5）的效果。Pix2Pix 的作者建议在训练期间对模型更新进行此权重调整，以减慢判别器相对于生成器模型的更改。

生成器模型比判别器模型更复杂。

生成器是一个使用 U-Net 架构的编码器-解码器模型。该模型接收源图像（例如卫星照片）并生成目标图像（例如 Google 地图图像）。它通过首先将输入图像下采样或编码到瓶颈层，然后将瓶颈表示上采样或解码到输出图像的大小来实现此目的。U-Net 架构意味着在编码层和相应的解码层之间添加了跳跃连接，形成 U 形。

下图清楚地展示了跳跃连接，显示了编码器的第一层如何连接到解码器的最后一层，依此类推。

U-Net 生成器模型架构
摘自《带条件对抗网络的图像到图像翻译》

生成器的编码器和解码器由卷积、批量归一化、Dropout 和激活层的标准化块组成。这种标准化意味着我们可以开发辅助函数来创建每个层块，并重复调用它来构建模型的编码器和解码器部分。

下面的 `define_generator()` 函数实现了 U-Net 编码器-解码器生成器模型。它使用 `define_encoder_block()` 辅助函数为编码器创建层块，并使用 `decoder_block()` 函数为解码器创建层块。输出层使用 tanh 激活函数，这意味着生成图像中的像素值将在 [-1,1] 范围内。

判别器模型直接在真实图像和生成图像上进行训练，而生成器模型则不然。

相反，生成器模型通过判别器模型进行训练。它被更新以最小化判别器对标记为“真实”的生成图像预测的损失。因此，它被鼓励生成更多真实图像。生成器还通过最小化生成图像和目标图像之间的 L1 损失或平均绝对误差进行更新。

生成器通过对抗性损失和 L1 损失的加权和进行更新，其中模型作者建议 L1 损失的权重为 100 比 1。这是为了强烈鼓励生成器生成输入图像的合理翻译，而不仅仅是目标域中可信的图像。

这可以通过定义一个由现有独立生成器和判别器模型中的权重组成的新逻辑模型来实现。这个逻辑或复合模型涉及将生成器堆叠在判别器之上。源图像作为输入提供给生成器和判别器，尽管生成器的输出连接到判别器作为相应的“目标”图像。然后，判别器预测生成器是源图像的真实翻译的可能性。

判别器以独立方式更新，因此权重在此复合模型中被重用，但被标记为不可训练。复合模型使用两个目标进行更新，一个表示生成的图像是真实的（交叉熵损失），迫使生成器中产生更大权重更新以生成更真实的图像，另一个是图像的实际真实转换，与生成器模型的输出（L1 损失）进行比较。

下面的 `define_gan()` 函数实现了这一点，它将已定义的生成器和判别器模型作为参数，并使用 Keras 函数式 API 将它们连接成一个复合模型。针对模型的两个输出指定了两个损失函数，并在 `compile()` 函数的 `loss_weights` 参数中指定了每个损失函数使用的权重。

接下来，我们可以加载我们成对的图像数据集，采用压缩的 NumPy 数组格式。

这将返回两个 NumPy 数组的列表：第一个用于源图像，第二个用于相应的目标图像。

训练判别器将需要批量的真实图像和伪造图像。

下面的 `generate_real_samples()` 函数将准备一批来自训练数据集的随机图像对，以及相应的判别器标签 `class=1` 以表示它们是真实的。

下面的 `generate_fake_samples()` 函数使用生成器模型和一批真实源图像来为判别器生成一批等效的目标图像。

这些图像与标签类-0 一起返回，以向判别器表明它们是假的。

通常，GAN 模型不会收敛；相反，会在生成器和判别器模型之间找到一个平衡点。因此，我们无法轻易判断何时应该停止训练。因此，我们可以保存模型，并在训练期间定期（例如每 10 个训练 epoch）使用它来生成图像到图像的样本翻译。

然后我们可以在训练结束时回顾生成的图像，并根据图像质量选择最终模型。

`summarize_performance()` 函数实现了这一点，它在训练过程中的某个点接收生成器模型，并用它生成数据集中的随机选择图像的一些（在本例中为三个）翻译。然后将源图像、生成的图像和预期目标图像绘制成三行图像，并将图表保存到文件中。此外，模型将保存为 H5 格式的文件，以便以后更容易加载。

图像和模型的文件名都包含训练迭代次数，以便在训练结束时我们能够轻松区分它们。

最后，我们可以训练生成器和判别器模型。

下面的 `train()` 函数实现了这一点，它将已定义的生成器、判别器、复合模型和加载的数据集作为输入。为了缩短训练时间，epoch 数量设置为 100，尽管论文中使用了 200。batch_size 设置为 1，这是论文中推荐的。

训练涉及固定数量的训练迭代。训练数据集中有 1,097 张图像。一个 epoch 是对这些示例迭代一次，batch size 为 1 意味着 1,097 个训练步骤。生成器每 10 个 epoch 或每 10,970 个训练步骤保存并评估一次，模型将运行 100 个 epoch，总共 109,700 个训练步骤。

每个训练步骤首先选择一批真实示例，然后使用生成器生成一批匹配的伪造样本，使用真实源图像。然后用一批真实图像和伪造图像更新判别器。

接下来，更新生成器模型，提供真实源图像作为输入，并提供类标签 1（真实）和真实目标图像作为模型计算损失所需的预期输出。生成器有两个损失分数以及从 `train_on_batch()` 调用返回的加权和分数。我们只对加权和分数（返回的第一个值）感兴趣，因为它用于更新模型权重。

最后，每次训练迭代都会向控制台报告每次更新的损失，并每 10 个训练周期评估模型性能。

综上所述，以下列出了训练 Pix2Pix GAN 以将卫星照片转换为 Google 地图图像的完整代码示例。

该示例可以在 CPU 硬件上运行，但推荐使用 GPU 硬件。

该示例在现代 GPU 硬件上可能需要大约两小时才能运行。

注意：由于算法或评估过程的随机性，或者数值精度的差异，您的结果可能会有所不同。请考虑运行该示例几次并比较平均结果。

每次训练迭代都会报告损失，包括判别器在真实示例上的损失 (d1)、判别器在生成或虚假示例上的损失 (d2) 和生成器损失，它是对抗性损失和 L1 损失的加权平均值 (g)。

如果判别器的损失降至零并长时间保持不变，请考虑重新启动训练运行，因为这是训练失败的一个示例。

模型每 10 个 epoch 保存一次，并保存到带有训练迭代次数的文件中。此外，图像每 10 个 epoch 生成一次，并与预期的目标图像进行比较。这些图可以在运行结束时进行评估，并用于根据生成的图像质量选择最终的生成器模型。

运行结束时，您将有 10 个保存的模型文件和 10 个生成的图像图。

在前 10 个 epoch 之后，生成的地图图像看起来很合理，尽管街道的线条并不完全笔直，并且图像包含一些模糊。尽管如此，大型结构大部分都位于正确的位置，并且颜色也大致正确。

使用 Pix2Pix 训练 10 个 Epoch 后卫星到 Google 地图翻译图像的图

大约 50 个训练 epoch 后生成的图像开始看起来非常真实，至少对我来说是这样，并且在训练过程的其余部分质量似乎保持良好。

请注意下面第一个生成的图像示例（右列，中间行），它包含比真实 Google 地图图像更有用的细节。

使用 Pix2Pix 训练 100 个 Epoch 后卫星到 Google 地图翻译图像的图

现在我们已经开发并训练了 Pix2Pix 模型，我们可以探索如何以独立的方式使用它们。

如何使用 Pix2Pix 模型翻译图像

训练 Pix2Pix 模型会产生许多保存的模型和每个模型生成的图像样本。

更多的训练 epoch 不一定意味着更好的质量模型。因此，我们可以根据生成的图像质量选择一个模型，并使用它来执行即时图像到图像的翻译。

在这种情况下，我们将使用在运行结束时保存的模型，例如在 100 个 epoch 或 109,600 次训练迭代之后。

一个好的起点是加载模型并使用它对训练数据集中的源图像进行即时翻译。

首先，我们可以加载训练数据集。我们可以使用与训练模型时使用的相同的名为 load_real_samples() 的函数来加载数据集。

此函数可以如下调用：

接下来，我们可以加载保存的 Keras 模型。

接下来，我们可以从训练数据集中选择一个随机图像对作为示例。

我们可以将源卫星图像作为模型的输入，并使用它来预测 Google 地图图像。

最后，我们可以绘制源图像、生成的图像和预期的目标图像。

下面的 plot_images() 函数实现了这一点，在每个图像上方提供了漂亮的标题。

此函数可以与我们的每个源图像、生成的图像和目标图像一起调用。

综上所述，下面列出了使用训练数据集中的示例执行即时图像到图像翻译的完整示例。

运行该示例将从训练数据集中选择一个随机图像，将其翻译成 Google 地图，并绘制结果与预期图像的比较图。

注意：由于算法或评估过程的随机性，或者数值精度的差异，您的结果可能会有所不同。请考虑运行该示例几次并比较平均结果。

在这种情况下，我们可以看到生成的图像捕捉了橙色和黄色的主要道路以及绿色公园区域。生成的图像并不完美，但与预期图像非常接近。

使用最终 Pix2Pix GAN 模型进行卫星到 Google 地图图像翻译的图

我们可能还想使用该模型来翻译给定的独立图像。

我们可以从 maps/val 下的验证数据集中选择一个图像，并裁剪图像的卫星部分。然后可以保存并用作模型的输入。

在这种情况下，我们将使用“maps/val/1.jpg”。

地图数据集验证部分中的示例图像

我们可以使用图像程序粗略裁剪此图像的卫星元素作为输入，并将文件保存为当前工作目录中的 satellite.jpg。

裁剪后的卫星图像示例，用作 Pix2Pix 模型的输入。

我们必须将图像加载为 256×256 大小的 NumPy 像素数组，将像素值重新缩放至 [-1,1] 范围，然后展开单图像维度以表示一个输入样本。

下面的 load_image() 函数实现了这一点，返回可以直接提供给已加载的 Pix2Pix 模型的图像像素。

然后我们可以加载我们裁剪的卫星图像。

和以前一样，我们可以加载我们保存的 Pix2Pix 生成器模型，并生成已加载图像的翻译。

最后，我们可以将像素值缩放回 [0,1] 范围并绘制结果。