gan2

在GAN发展的最初几年里，咱们取得了使人瞩目的进展。固然，如今不会是像恐怖电影里那样有邮票大小的面部照片了。2017年，Gan制做了1024×1024张能愚弄人才童子军的照片。在将来几年，咱们可能会看到GAN生成的高质量视频，由此衍生的商业应用程序即未来临。做为GAN系列的一部分，咱们研究了一些很酷的应用程序，但愿它们能做你的GAN应用程序的灵感来源。

建立动画角色

众所周知，游戏开发和动画制做成本很高，而且雇佣了许多制做艺术家来完成相对常规的任务。但经过GAN就能够自动生成动画角色并为其上色。

 

 

使用Generative Adversarial Networks建立自动动画人物角色

发生器和鉴别器由多层卷积层、批标准化和具备跳过连接的relu组成。

来源

姿式引导人形像生成

经过姿式的附加输入，咱们能够将图像转换为不一样的姿式。例如，右上角图像是基础姿式，右下角是生成的图像。

 

下面的优化结果列是生成的图像。

 

 

姿式引导人图像生成

该设计由二级图像发生器和鉴频器组成。生成器使用元数据（姿式）和原始图像重建图像。鉴别器使用原始图像做为CGAN设计标签输入的一部分。

 

 

姿式引导人图像生成

CycleGAN

跨域名转让将极可能成为第一批商业应用。GANs将图像从一个领域（如真实的风景）转换为另外一个领域（莫奈绘画或梵高）。

 

 

CycleGAN

例如，它能够在斑马和马之间转换图片。

 

CycleGAN

Cyclegan构建了两个网络G和F来构建从一个域到另外一个域以及反向的图像。它使用鉴别器d来批评生成的图像有多好。例如，G将真实图像转换为梵高风格的绘画，而且DY用于区分图像是真实的仍是生成的。

域A到域B：

 

咱们在反向域B域A中重复该过程：

PixelDTGAN

根据名人图片推荐商品已经成为时尚博客和电子商务的热门话题。Pixeldtgan的做用就是从图像中建立服装图像和样式。

 

 

 

PixelDTGAN

 

 

PixelDTGAN

超分辨率

从低分辨率建立超分辨率图像。这是GAN显示出很是使人印象深入的结果，也是具备直接商业可能性的一个领域。

 

 

SRGAN

与许多GAN的设计相似，它是由多层卷积层、批标准化、高级relu和跳过链接组成。

 

 

SRGAN

GAN的逐步发展

Progressive GAN多是第一个展现商业化图像质量的GAN之一。如下是由GAN建立的1024×1024名人形象。

 

 

GAN的逐步发展

它采用分而治之的策略，使训练更加可行。卷积层的一次又一次训练构建出2倍分辨率的图像。

 

在9个阶段中，生成1024×1024图像。

 

 

GAN的逐步发展

高分辨率图像合成

须要注意的是这并不是图像分割，而是从语义图上生成图像。因为采集样本很是昂贵，咱们采用生成的数据来补充培训数据集，以下降开发成本。在训练自动驾驶汽车时能够自动生成视频，而不是看到它们在附近巡航，这就为咱们的生活带来了便捷。

网络设计:

 

 

pix2pixHD

 

 

pix2pixHD

文本到图像（StackGAN）

文本到图像是域转移GAN的早期应用之一。好比，咱们输入一个句子就能够生成多个符合描述的图像。

 

 

StackGAN

 

 

来源

文本到图像合成

另外一个比较通用的实现：

 

生成对抗性文本到图像合成

人脸合成

不一样姿态下的合成面：使用单个输入图像，咱们能够在不一样的视角下建立面。例如，咱们可使用它来转换更容易进行人脸识别图像。

 

 

TP-GAN

 

 

TP-GAN

图像修复

几十年前，修复图像一直是一个重要的课题。gan就能够用于修复图像并用建立的“内容”填充缺失的部分。

 

 

上下文编码器

学习联合分配

用面部字符P（金发，女性，微笑，戴眼镜），P（棕色，男性，微笑，没有眼镜）等不一样组合建立GAN是很不现实的。维数的诅咒使得GAN的数量呈指数增加。但咱们能够学习单个数据分布并将它们组合以造成不一样的分布，即不一样的属性组合。

 

 

 

CoGAN

 

 

CoGAN

DiscoGAN

DiscoGAN提供了匹配的风格：许多潜在的应用程序。DiscoGAN在没有标签或配对的状况下学习跨域关系。例如，它成功地将样式（或图案）从一个域（手提包）传输到另外一个域（鞋子）。

 

 

DiscoGAN

DiscoGAN和cyclegan在网络设计中很是类似。

 

DiscoGAN

Pix2Pix

PIX2PIx是一种图像到图像的翻译，在跨域Gan的论文中常常被引用。例如，它能够将卫星图像转换为地图（图片左下角）。

 

 

pix2pix

DTN

从图片中建立表情符号。

 

 

DTN

 

 

DTN

纹理合成

 

MGAN

图像编辑 (IcGAN)

重建或编辑具备特定属性的图像。

 

 

IcGAN

 

 

IcGAN

人脸老化(Age-cGAN)

 

 

Age-cGAN

 

 

Age-cGAN

神经照片编辑器

基于内容的图像编辑：例如，扩展发带。

 

 

神经照片编辑

细化图像

 

目标检测

这是用gan加强现有解决方案的一个应用程序。

 

 

Perceptual GAN

图像融合

将图像混合在一块儿。

 

 

GP-GAN

视频生成

建立新的视频序列。它识别出什么是背景，并为前台操做建立新的时间序列。

 

视频连接

生成三维对象

这是用gan建立三维对象时常常引用的一篇文章。

 

视频连接

 

3DGAN

 

 

3DGAN

音乐的产生

GaN能够应用于非图像领域，如做曲。

 

 

MidiNet

 

 

MidiNet

医疗（异常检测）

GAN还能够扩展到其余行业，例如医学中的肿瘤检测。

 

 

AnoGAN

 

 

AnoGAN

进一步阅读

本文展现了一些GAN的相关应用程序。若是你感兴趣想进一步研究GAN能够继续阅读如下文章：

第一部分：重点介绍如何应用gans解决深层次学习问题，以及为何培训gans如此困难。
GAN-关于GAN的综合考察（上）
第二部分：GAN培训问题解决概述。
GAN-关于GAN的综合考察（下）

本系列中的全部文章：
GaN-GaN系列（从头至尾）

做者信息

Jonathan Hui