生成对抗网络（GAN）的18种令人印象深刻的应用

生成对抗网络（GAN）是一种用于生成建模的神经网络架构。

生成建模涉及使用模型生成新的示例，这些示例似乎合理地来自现有样本分布，例如生成与现有照片数据集相似但具体不同的新照片。

GAN是一种生成模型，它使用两个神经网络模型进行训练。一个模型被称为“生成器”或“生成网络”模型，它学习生成新的合理样本。另一个模型被称为“判别器”或“判别网络”，它学习区分生成示例和真实示例。

这两个模型在一个竞赛或游戏（博弈论意义上）中设置，生成器模型试图欺骗判别器模型，而判别器则同时接收真实样本和生成样本的示例。

训练完成后，生成模型可以用于按需创建新的合理样本。

GAN有非常具体的用例，初学者可能难以理解这些用例。

在这篇文章中，我们将回顾大量有趣的GAN应用，以帮助您对GAN可以有用和适用的问题类型形成直观理解。这不是一个详尽的列表，但它包含了许多媒体上出现过的GAN示例用途。

我们将这些应用程序分为以下几个领域：

• 为图像数据集生成示例
• 生成人脸照片
• 生成逼真照片
• 生成卡通人物
• 图像到图像的转换
• 文本到图像的转换
• 语义图像到照片的转换
• 人脸正面视图生成
• 生成新的人体姿态
• 照片转表情符号
• 照片编辑
• 人脸老化
• 照片融合
• 超分辨率
• 照片修复
• 服装转换
• 视频预测
• 3D对象生成

我是否遗漏了GAN的有趣应用或关于特定GAN应用的优秀论文？
请在评论中告诉我。

用我的新书《使用Python的生成对抗网络》启动您的项目，包括分步教程和所有示例的Python源代码文件。

为图像数据集生成示例

Ian Goodfellow等人在2014年题为“生成对抗网络”的原始论文中描述的应用是生成新的合理样本，其中GAN被用于为MNIST手写数字数据集、CIFAR-10小物体照片数据集和Toronto Face Database生成新的合理示例。

使用GAN为图像数据集生成新的合理示例。摘自《生成对抗网络》，2014年。

这也被Alec Radford等人于2015年发表的题为“使用深度卷积生成对抗网络的无监督表征学习”的重要论文（称为DCGAN）作为演示，该论文展示了如何大规模训练稳定的GAN。他们演示了用于生成卧室新示例的模型。

GAN生成的卧室照片示例。摘自《使用深度卷积生成对抗网络的无监督表征学习》，2015年。

重要的是，在这篇论文中，他们还展示了对GAN输入（在潜在空间中）进行向量运算的能力，包括生成的卧室和生成的人脸。

GAN生成人脸的向量算术示例。摘自《使用深度卷积生成对抗网络的无监督表征学习》，2015年。

生成人脸照片

Tero Karras等人在其2017年题为“用于提高质量、稳定性和变化的GAN渐进式增长”的论文中，展示了生成合理逼真人脸照片的能力。事实上，它们看起来非常真实，可以说结果令人瞩目。因此，这些成果受到了媒体的广泛关注。人脸生成是在名人示例上训练的，这意味着生成的面孔中包含现有名人的元素，使它们看起来熟悉，但又不完全是。

GAN生成的逼真人脸示例。摘自《用于提高质量、稳定性和变化的GAN渐进式增长》，2017年。

他们的方法也被用于演示物体和场景的生成。

GAN生成的逼真物体和场景示例。摘自《用于提高质量、稳定性和变化的GAN渐进式增长》，2017年。

该论文中的示例被用于2018年题为“人工智能的恶意使用：预测、预防和缓解”的报告中，以展示GAN从2014年到2017年的快速进展（通过Ian Goodfellow的这条推文发现）。

GAN功能从2014年到2017年的进展示例。摘自《人工智能的恶意使用：预测、预防和缓解》，2018年。

生成逼真照片

Andrew Brock等人在其2018年题为“用于高保真自然图像合成的大规模GAN训练”的论文中，展示了使用BigGAN技术生成几乎与真实照片无法区分的合成照片。

使用BigGAN生成的逼真合成照片示例。摘自《用于高保真自然图像合成的大规模GAN训练》，2018年。

生成卡通人物

杨华金等人在其2017年题为“利用生成对抗网络实现动漫人物的自动创作”的论文中，展示了GAN训练和使用，用于生成动漫人物（即日本漫画人物）的面部。

GAN生成的动漫人物面部示例。摘自《利用生成对抗网络实现动漫人物的自动创作》，2017年。

受动漫示例的启发，许多人尝试生成宝可梦角色，例如pokeGAN项目和使用DCGAN生成宝可梦项目，但成功有限。

GAN生成的宝可梦角色示例。摘自pokeGAN项目。

图像到图像的转换

这是一个有点包罗万象的任务，适用于那些展示了可以执行许多图像转换任务的GAN论文。

Phillip Isola等人在其2016年题为“条件对抗网络的图像到图像转换”的论文中，展示了GAN，特别是他们的pix2pix方法，用于许多图像到图像的转换任务。

示例包括以下转换任务：

• 语义图像转换为城市景观和建筑物的照片。
• 卫星照片转换为Google地图。
• 照片从白天转换为夜晚。
• 黑白照片转换为彩色。
• 草图转换为彩色照片。

使用pix2pix将白天城市景观照片转换为夜晚的示例。摘自《条件对抗网络的图像到图像转换》，2016年。

使用pix2pix将草图转换为彩色照片的示例。摘自《条件对抗网络的图像到图像转换》，2016年。

朱俊彦在其2017年题为“使用循环一致对抗网络的无配对图像到图像翻译”的论文中，介绍了他们著名的CycleGAN，以及一系列令人印象深刻的图像到图像翻译示例。

以下示例演示了四种图像翻译情况：

• 照片转换为艺术绘画风格。
• 马转换为斑马。
• 照片从夏天转换为冬天。
• 卫星照片转换为Google地图视图。

使用CycleGAN执行的四种图像到图像翻译示例。摘自《使用循环一致对抗网络的无配对图像到图像翻译》，2017年。

该论文还提供了许多其他示例，例如：

• 绘画转换为照片。
• 草图转换为照片。
• 苹果转换为橙子。
• 照片转换为艺术绘画。

使用CycleGAN将绘画转换为照片的示例。摘自《使用循环一致对抗网络的无配对图像到图像翻译》，2017年。

文本到图像翻译 (text2image)

韩张等人在其2016年题为“StackGAN：使用堆叠生成对抗网络实现文本到逼真图像合成”的论文中，展示了GAN的应用，特别是他们的StackGAN，用于从鸟类和花卉等简单物体的文本描述中生成逼真照片。

文本描述和GAN生成的鸟类照片示例。摘自《StackGAN：使用堆叠生成对抗网络实现文本到逼真图像合成》，2016年。

Scott Reed等人在其2016年题为“生成对抗文本到图像合成”的论文中，也提供了一个早期的文本到图像生成小物体和场景（包括鸟类、花卉等）的示例。

文本描述和GAN生成的鸟类和花卉照片示例。摘自《生成对抗文本到图像合成》。

Ayushman Dash等人在其2017年题为“TAC-GAN – 文本条件辅助分类器生成对抗网络”的论文中，提供了关于似乎相同数据集的更多示例。

Scott Reed等人在其2016年题为“学习画什么和画在哪里”的论文中，扩展了这项能力，并使用GANs从文本生成图像，同时使用边界框和关键点作为提示，指示在何处绘制描述的物体，如一只鸟。

使用GAN根据文本和位置提示生成的物体照片示例。摘自《学习画什么和画在哪里》，2016年。

语义图像到照片的转换

Ting-Chun Wang等人在其2017年题为“使用条件GAN的高分辨率图像合成和语义操作”的论文中，展示了条件GAN的应用，根据语义图像或草图输入生成逼真图像。

语义图像和GAN生成的城市景观照片示例。摘自《使用条件GAN的高分辨率图像合成和语义操作》，2017年。

具体示例包括：

• 给定语义图像，生成城市景观照片。
• 给定语义图像，生成卧室照片。
• 给定语义图像，生成人脸照片。
• 给定草图，生成人脸照片。

他们还演示了一个用于操纵生成图像的交互式编辑器。

人脸正面视图生成

Rui Huang等人在其2017年题为“超越人脸旋转：用于逼真且保持身份的正面视图合成的全局和局部感知GAN”的论文中，展示了GAN的应用，用于根据倾斜拍摄的照片生成人脸的正面视图（即正对脸部）照片。其想法是，生成的正面照片可以作为人脸验证或人脸识别系统的输入。

基于GAN的人脸正面视图照片生成示例。摘自《超越人脸旋转：用于逼真且保持身份的正面视图合成的全局和局部感知GAN》，2017年。

生成新的人体姿态

Liqian Ma等人在其2017年题为“姿态引导的人像生成”的论文中，提供了一个生成具有新姿态的人体模型新照片的示例。

GAN生成的人体姿态照片示例。摘自《姿态引导的人像生成》，2017年。

照片转表情符号

Yaniv Taigman等人在其2016年题为“无监督跨域图像生成”的论文中，使用GAN将图像从一个领域转换到另一个领域，包括从街道数字到MNIST手写数字，以及从名人照片到他们称之为表情符号或小卡通面孔。

名人照片和GAN生成的表情符号示例。摘自《无监督跨域图像生成》，2016年。

照片编辑

Guim Perarnau等人在其2016年题为“用于图像编辑的可逆条件GAN”的论文中，使用GAN，特别是他们的IcGAN，根据指定的特征（如发色、发型、面部表情乃至性别变化）重建人脸照片。

使用IcGAN进行人脸照片编辑的示例。摘自《用于图像编辑的可逆条件GAN》，2016年。

Ming-Yu Liu等人在其2016年题为“耦合生成对抗网络”的论文中，也探讨了生成具有特定属性（如发色、面部表情和眼镜）的面孔。他们还探讨了生成其他图像，如具有不同颜色和深度的场景。

GAN生成金发和非金发人脸的示例。摘自《耦合生成对抗网络》，2016年。

Andrew Brock等人在其2016年题为“使用内省对抗网络的神经照片编辑”的论文中，提出了一种使用变分自编码器和GAN混合的人脸照片编辑器。该编辑器允许快速真实地修改人脸，包括改变发色、发型、面部表情、姿态和添加胡须。

使用基于VAE和GAN的神经照片编辑器进行人脸编辑的示例。摘自《使用内省对抗网络的神经照片编辑》，2016年。

He Zhang等人在其2017年题为“使用条件生成对抗网络进行图像去雨”的论文中，使用GAN进行图像编辑，包括从照片中去除雨雪的示例。

使用GAN从照片中去除雨水的示例。摘自《使用条件生成对抗网络进行图像去雨》。

人脸老化

Grigory Antipov等人在其2017年题为“使用条件生成对抗网络进行人脸老化”的论文中，使用GAN生成不同年龄（从年轻到年老）的人脸照片。

使用GAN生成不同年龄人脸照片的示例。摘自《使用条件生成对抗网络进行人脸老化》，2017年。

Zhifei Zhang在其2017年题为“通过条件对抗自编码器进行年龄进展/回归”的论文中，使用基于GAN的方法对人脸照片进行去老化处理。

使用GAN进行人脸照片老化处理的示例。摘自《通过条件对抗自编码器进行年龄进展/回归》，2017年。

照片融合

Huikai Wu等人在其2017年题为“GP-GAN：实现逼真高分辨率图像混合”的论文中，展示了GAN在图像混合中的应用，特别是来自不同照片的元素，如田野、山脉和其他大型结构。

基于GAN的照片混合示例。摘自《GP-GAN：实现逼真高分辨率图像混合》，2017年。

超分辨率

Christian Ledig等人在其2016年题为“使用生成对抗网络实现照片级单图像超分辨率”的论文中，展示了GAN的应用，特别是他们的SRGAN模型，用于生成具有更高（有时甚至高得多）像素分辨率的输出图像。

GAN生成的超分辨率图像示例。摘自《使用生成对抗网络实现照片级单图像超分辨率》，2016年。

Huang Bin等人在其2017年题为“使用条件生成对抗网络实现高质量人脸图像超分辨率”的论文中，使用GAN创建人脸照片的不同版本。

生成的高分辨率人脸示例。摘自《使用条件生成对抗网络实现高质量人脸图像超分辨率》，2017年。

Subeesh Vasu等人在其2018年题为“使用增强感知超分辨率网络分析感知-失真权衡”的论文中，提供了一个使用GAN创建高分辨率照片的示例，重点关注街景。

高分辨率GAN生成的建筑物照片示例。摘自《使用增强感知超分辨率网络分析感知-失真权衡》，2018年。

照片修复

Deepak Pathak等人在其2016年题为“上下文编码器：通过图像修复进行特征学习”的论文中，描述了GANs的应用，特别是上下文编码器，用于执行照片修复或孔洞填充，即填充因某种原因被移除的照片区域。

使用上下文编码器进行GAN生成的照片修复示例。摘自《上下文编码器：通过图像修复进行特征学习》中对GANs（特别是上下文编码器）应用情况的描述，2016年。

Raymond A. Yeh等人在其2016年题为“基于深度生成模型的语义图像修复”的论文中，使用GAN填充和修复故意损坏的人脸照片。

基于GAN的人脸照片修复示例。摘自《基于深度生成模型的语义图像修复》，2016年。

Yijun Li等人在其2017年题为“生成式人脸补全”的论文中，也使用GAN进行人脸照片的修复和重建。

GAN重建的人脸照片示例。摘自《生成式人脸补全》，2017年。

服装转换

Donggeun Yoo等人在其2016年题为“像素级领域迁移”的论文中，展示了GAN的应用，根据模特穿着衣服的照片生成目录或在线商店中可能看到的服装照片。

输入照片和GAN生成的服装照片示例。摘自《像素级领域迁移》，2016年。

视频预测

Carl Vondrick等人在其2016年题为“生成场景动态视频”的论文中，描述了GAN在视频预测中的应用，特别是成功预测长达一秒的视频帧，主要针对场景中的静态元素。

GAN生成的视频帧示例。摘自《生成场景动态视频》，2016年。

3D对象生成

Jiajun Wu等人在其2016年题为“通过3D生成对抗建模学习物体形状的概率潜在空间”的论文中，展示了GAN用于生成新的三维物体（如3D模型），例如椅子、汽车、沙发和桌子。

GAN生成的三维物体示例。摘自《通过3D生成对抗建模学习物体形状的概率潜在空间》。

Matheus Gadelha等人在其2016年题为“从多个物体的2D视图中进行3D形状归纳”的论文中，使用GAN根据从多个视角拍摄的物体2D图片生成三维模型。

从二维图像重建椅子的三维示例。摘自《从多个物体的2D视图中进行3D形状归纳》，2016年。

进一步阅读

本节提供了更多GAN应用列表，以补充此列表。

• gans-awesome-applications：精选的优秀GAN应用和演示列表.
• GAN的一些很酷的应用, 2018.
• GAN超越生成：7种替代用例, 2018.

总结

在这篇文章中，您发现了大量生成对抗网络（GAN）的应用。

我是否遗漏了GAN的有趣应用或关于特定GAN应用的优秀论文？
请在评论中告诉我。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发生成对抗网络！

在几分钟内开发您的GAN模型

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 构建生成对抗网络

它提供了关于以下内容的自学教程和端到端项目：
DCGAN、条件GAN、图像翻译、Pix2Pix、CycleGAN
以及更多...

最终将GAN模型引入您的视觉项目

跳过学术理论。只看结果。

查看内容