[计算机视觉论文速递] 2018-07-05 GAN专场

导言

这篇文章有4篇论文速递，都是GAN方向，包括根据文本生成图像和多域图像生成等方向。其中一篇是IJCAI 2018。

CVer

编辑: Amusi

校稿: Amusi

前戏

Amusi 将平常整理的论文都会同步发布到 daily-paper-computer-vision 上。名字有点露骨，还请见谅。喜欢的童鞋，欢迎star、fork和pull。

直接点击“阅读全文”便可访问daily-paper-computer-vision。
link: https://github.com/amusi/daily-paper-computer-vision

GAN

《Text to Image Synthesis Using Generative Adversarial Networks》

arXiv 2018

Architecture of the customised GAN-CLS

Each row contains 64×64 images generated by a different model from the top text
description. The order is: GAN-CLS (first row), WGAN-CLS (second row), StackGAN Stage I(third row), Conditional Least Squares PGGAN (forth row), Conditional Wasserstein PGGAN(fifth row).

Abstract：从天然语言生成图像是最近条件生成模型的主要应用之一。除了测试咱们对条件性，高维度分布进行建模的能力以外，文本到图像合成还具备许多使人兴奋和实际的应用，例如照片编辑或计算机辅助内容建立。使用生成对抗网络（GAN）已经取得了最新进展。本文首先对这些主题进行介绍，并讨论了现有技术模型的现状。此外，本文提出了Wasserstein GAN-CLS，这是一种基于Wasserstein距离的条件图像生成的新模型，能够保证稳定性。而后，展现了Wasserstein GAN-CLS的新型损失函数如何用于条件渐进式生长（Conditional Progressive Growing）GAN。与建议的损失相结合，该模型将仅使用句子级视觉语义的模型的最佳初始得分（在加州理工学院数据集上）提升了7.07％。惟一比有条件的Wasserstein渐进式增加GAN表现更好的模型是最近提出的使用词级视觉语义（word-level visual semantics）的AttnGAN。

arXiv：https://arxiv.org/abs/1805.00676

注：超级重磅文章！整整72页！

《Transferring GANs: generating images from limited data》

arXiv 2018

Transferring GANs: training source GANs

Abstract：经过微调将预训练网络的知识传递到新域是基于判别模型的应用的普遍使用的实践。据咱们所知，这种作法还没有在生成性深层网络的背景下（the context of generative deep networks）进行研究。所以，咱们研究应用于生成对抗网络的图像生成的域自适应（domain adaptation）。咱们评估域适应的几个方面，包括目标域大小的影响，源域和目标域之间的相对距离，以及条件GAN的初始化。咱们的结果代表，使用来自预训练网络的知识能够缩短收敛时间而且能够显著提升所生成图像的质量，尤为是当目标数据有限时。咱们代表，即便在没有条件训练的状况下训练预训练模型，也能够为条件GAN绘制这些结论。咱们的结果还代表，密度（density）可能比多样性更重要，具备一个或几个密集采样类的数据集可能比更多不一样的数据集（如ImageNet或Places）更好的源模型。

arXiv：https://arxiv.org/abs/1805.01677

《MEGAN: Mixture of Experts of Generative Adversarial Networks for Multimodal Image Generation》

IJCAI 2018

The proposed architecture of MEGAN

Visual Inspection; CelebA dataset

Abstract：最近，生成对抗网络（GAN）在生成逼真图像方面表现出了很好的表现。然而，他们常常难以在给定数据集中学习复杂的基础模态（underlying modalities），致使生成质量差的图像。为了解决这个问题，咱们提出了一种称为mixture of experts GAN（MEGAN）的新方法，这是一种多生成网络的集合方法。MEGAN中的每一个生成网络专门用于生成具备特定模态子集的图像，例如图像类。咱们提出的模型不是采用多个模态的手工聚类的单独步骤，而是经过 gating networks对多个生成网络的端到端学习进行训练， gating networks负责为给定条件选择合适的生成网络。咱们采用分类从新参数化技巧，在选择生成器的同时保持梯度流动的分类决策。咱们证实了个体生成器学习数据的不一样且显著的子部分，而且对于CelebA得到了0.2470的多尺度结构类似性（MS-SSIM）得分，而且在CIFAR-10中得到了8.33的竞争性无监督初始得分。

arXiv：https://arxiv.org/abs/1805.02481v2

《Unpaired Multi-Domain Image Generation via Regularized Conditional GANs》

arXiv 2018

The framework of RegCGAN

Comparison results between RegCGAN and CycleGAN
for the task of female and male

Abstract：在本文中，咱们研究了多域（multi-domain）图像生成的问题，其目的是从不一样的域生成相应的图像对。随着近年来生成模型的发展，图像生成取得了很大进展，并已应用于各类计算机视觉任务。然而，因为难以学习不一样域图像的对应性，尤为是当未给出配对样本的信息时，多域图像生成可能没法实现指望的性能。为了解决这个问题，咱们提出了规则化条件GAN（RegCGAN），它可以学习在没有配对训练数据的状况下生成相应的图像。 RegCGAN基于条件GAN，咱们引入两个正则化器来指导模型学习不一样域的相应语义。咱们对未给出配对训练数据的若干任务评估所提出的模型，包括边缘和照片的生成，具备不一样属性的面部的生成等。实验结果代表咱们的模型能够成功地生成全部这些的相应图像，同时优于 baseline方法。咱们还介绍了将RegCGAN应用于无监督域自适应的方法。

arXiv：https://arxiv.org/abs/1805.02456