【神经网络与深度学习】生成式对抗网络GAN研究进展（五）——Deep Convolutional Generative Adversarial Nerworks，DCGAN

【前言】 
    本文首先介绍生成式模型，而后着重梳理生成式模型（Generative Models）中生成对抗网络（Generative Adversarial Network）的研究与发展。做者按照GAN主干论文、GAN应用性论文、GAN相关论文分类整理了45篇近两年的论文，着重梳理了主干论文之间的联系与区别，揭示生成式对抗网络的研究脉络。 
本文涉及的论文有：

• Goodfellow Ian, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems. 2014: 2672-2680.
• Denton E L, Chintala S, Fergus R. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[C]//Advances in neural information processing systems. 2015: 1486-1494.
• Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv:1511.06434, 2015.

5. 深度卷积生成式对抗网络，Deep Convolutional Generative Adversarial Nerworks

5.1 DCGAN的思想

    DCGAN[1]这篇论文的提出看似并无很大创新，但其实它的开源代码如今被使用和借鉴的频率最高。这一切必须归功于这篇工做中比 LAPGAN [2]更 robust 的工程经验分享。也就是说，DCGAN，Deep Convolutional Generative Adversarial Networks，这个工做[1]，指出了许多对于GAN这种不稳定学习方式重要的架构设计和针对CNN这种网络的特定经验。重点来看： 
    好比他们提出既然以前已经被提出的strided convolutional networks 能够从理论上实现和有pooling的 CNN同样的功能和效果，那么strided convolutional networks做为一个能够 fully differentiable的generator G，在GAN中会表现得更加可控和稳定。 
    又好比，原本 Facebook的LAPGAN中指出Batch Normalization（BN）被用在 GAN 中的D上会致使整个学习的collapse ，可是DCGAN中则成功将 BN 用在了 G 和 D 上。这些工程性的突破无疑是更多人选择DCGAN 这一工做做为 base 的重要缘由。 
    另外一方面，他们在 visualize generative models 也有许多贡献。好比他们学习了 ICLR 2016 论文《Generating Sentences From a Continuous Space》中的 interpolate space 的方式，将生成图片中的 hidden states 都 show 了出来，能够看出图像逐渐演变的过程。 
    与此同时，他们也讲 Vector Arithmetic 运用在了图像上，获得了以下的一些结果： 

5.2 UNSUPERVISED R EPRESENTATION L EARNING WITH D EEP C ONVOLUTIONAL GENERATIVE A DVERSARIAL N ETWORKS

5.2.1 Introduction

    相较有监督学习，CNN在无监督学习上的进展缓慢。本文结合CNN在有监督学习的成功和无监督学习，提出一类被称为“深度卷积生成对抗网络（DCGANs）”使用生成模型和判别模型，从物体物件到场景图像，学习到一种层次的表征。最后，使用学习到的特征实现新任务——阐明它们能够用于生成图像的表征。 
    无监督地学习表征，用于有监督学习。

    经过GAN构建表征，而后重用部分生成模型、判别模型做为有监督学习的特征提取器。

    GAN是“最大似然方法”的一个有吸引力的替代方法。

    对于表征学习，无需启发式损失函数是有吸引力的。

    GAN有一个通病：训练过程的unstable ： 常常致使生成器产出无心义的输出。目前在试图理解和可视化GANs学到什么以及多层GANs的中间层标准方面研究很是有限。 
    这篇文章主要贡献：

• 咱们提出和评估了一系列卷积GANs在结构拓扑方面约束条件，让其更加稳定。咱们将其命名为深度卷积生成式对抗网络Deep Convolutional GANs
• 使用训练好的判别模型用于图像分类，和其余无监督方法的结果具备可比较性。
• 可视化了卷积核
• 生成模型具备向量算是运算性能

5.2.2 RELATED WORK

Representation Learning from Unlabeled Data 
无监督表征学习是一个CV领域中至关好的研究问题 
经典的无监督表征学习方法：聚类分析；利用聚类的簇改善分类性能 
In the context of images

• Do hierarchical clustering of image patches (Coates & Ng, 2012) to learn powerful image representations.
• Train auto-encoders (convolutionally, stacked (Vincent et al., 2010), separating the what and where components of the code (Zhao et al., 2015), ladder structures (Rasmus et al., 2015)) that encode an image into a compact code, and decode the code to reconstruct the image as accurately as possible.
• Deep belief networks (Lee et al., 2009) have also been shown to work well in learning hierarchical representations.

Generating natural images 
分为参数生成模型 和 非参生成模型 
Non-parametric models 
    The non-parametric models often do matching from a database of existing images, often matching patches of images. 
Parametric models 
    A variational sampling approach to generating images (Kingma & Welling, 2013) 
    Another approach generates images using an iterative forward diffusion process(Sohl-Dickstein et al., 2015) 
Generative Adversarial Networks (Goodfellow et al., 2014) generated images suffering from being noisy and incomprehensible. 
    A laplacian pyramid extension to this approach (Denton et al., 2015) showed higher quality images, but they still suffered from the objects looking wobbly because of noise introduced in chaining multiple models. 
    A recurrent network approach (Gregor et al., 2015) and a deconvolution network approach (Dosovitskiy et al., 2014) have also recently had some success with generating natural images, not leveraged the generators for supervised tasks

5.2.3 DCGAN网络模型

    历史上使用CNN扩展GANs模型不是很成功（这里的“扩展”含义是什么？原始的GAN和LAPGAN都有用卷积网络做为生成模型/判别模型？） 
    这驱使LAPGAN[2]的做者开发一种替代方法：迭代地升级低分辨率图像 
    Attempting to scale GANs using CNN architectures commonly used in the supervised literature 
    试图使用文献中说起的一般用于有监督学习的CNN架构扩展GANs时遇到了困难。最终找到了一类结构，能够在多种数据集上稳定地训练，而且产生更高分辨率的图像:深度卷积生成网络（DCGAN）。 
Core to our approach is adopting and modifying three recently demonstrated changes to CNN architectures. 
方法的核心：采用、修改了三种最近CNN结构的改进：

All convolutional net (Springenberg et al., 2014) 全卷积网络

• 判别模型：使用带步长的卷积（strided convolutions）取代了的空间池化（spatial pooling），允许网络学习本身的空间下采样（spatial downsampling）。
• 生成模型：使用微步幅卷积（fractional strided），允许它学习本身的空间上采样（spatial upsampling）。

在卷积特征之上消除全链接层

• e.g. Global average pooling which has been utilized in state of the 
  art image classification models (Mordvintsev et al.).
• 全局平均pooling有助于模型的稳定性，但损害收敛速度 
  输入：服从均匀分布的噪声向量，100维； 
  输出：并输出一个64x64x3 的RGB图像。
• 激活函数： 
  生成模型：输出层用Tanh函数，其它层用ReLU激活函数。 
  判别模型：全部层使用LeakyReLU

Batch Normalization 批标准化 
    解决因糟糕的初始化引发的训练问题，使得梯度能传播更深层次。 
    Batch Normalization证实了生成模型初始化的重要性，避免生成模型崩溃：生成的全部样本都在一个点上（样本相同），这是训练GANs常常遇到的失败现象。 
    This proved critical to get deep generators to begin learning, preventing the generator from collapsing all samples to a single point which is a common failure mode observed in GANs. 

    100维的噪声被投影到一个小空间幅度的卷积表征中。有四个微步幅卷积（在一些论文中，它们被误称为反卷积deconvolutions），而后将这些高层表征转换到64 * 64像素的RGB三通道图片。没有全链接层，没有池化层。 
原文对DCGAN的网络结构介绍的不是很清楚，Semantic Image Inpainting with Perceptual and 
Contextual Losses这篇文章使用了DCGAN进行图像修复，对网络结构和参数介绍的比较清楚（图中判别网络D的各层卷积操做的通道数应该和生成网络G同样，可是图中是不一样的，怀疑是否是判别网络D的通道数（卷积核数目）画错了？）。以下图所示： 
    

    上图a是生成模型G：输入（100 维噪声向量Z）到第一个层：全链接 100 —> 1024，而后再把1024的一维向量reshape成1024个通道的4*4的feature map。基本规律是生成网络的每个下一层是反卷积层，通道数减半，图像尺寸加倍。 
    下图b判别模型D：就是一个没有pooling的全卷积网络，输出是一个标量，表示输入数据属于训练数据而非生成样本的几率。

5.3 实验

    在LSUN卧室数据集上训练DCGAN，生成的图像很是逼真： 

    We demonstrate that an unsupervised DCGAN trained on a large image dataset can also learn a hierarchy of features that are interesting. 
    Using guided backpropagation as proposed by (Springenberg et al., 2014), we show in Fig.5 that the features learnt by the discriminator activate on typical parts of a bedroom, like beds and windows. 

    Vector arithmetic for visual concepts 

Reference

[1] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv:1511.06434, 2015.  [2] Denton E L, Chintala S, Fergus R. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[C]//Advances in neural information processing systems. 2015: 1486-1494.