CycleGAN（2017）：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

简述：
本文主要的工作是，给定任意两个无序的图像集合X和Y，我们的算法学习自动“转换”图像从一个到另一个，反之亦然。即风格迁移转换。如下图中莫奈画与照片的转换，斑马与马的转换，夏天与冬天的转换等。下面一行是由照片转换为不同画家画风的图像。

下图中，成对（paired）训练数据(左)由训练前元{xi, yi}N i=1组成，其中xi与yi之间存在对应。我们考虑的是未配对（unpaired）的训练数据(右)，它由一个源集{xi}N i=1 (xi∈X)和一个目标集{yj}j=1 (yj∈Y)组成，没有提供关于哪个xi匹配哪个yj的信息。

在本文中，我们提出了一种学习此类问题的方法:在没有任何成对训练例子的情况下，捕获一幅图像的特定特征，并找出如何将这些特征转换成另一幅图像集合。这个问题可以更广泛地描述为图像到图像的翻译，多年来在计算机视觉、图像处理、计算摄影和图形方面的研究已经在监督设置下产生了强大的翻译系统，然而，获得成对的训练数据可能是困难和昂贵的。

问题or相关工作：
本文的cycle-consistency大致思路是这样的，当真实图片输入给G：X → Y时，会产生大量的不同风格的图像，但是D尽可以判别与Y域相似风格的图像，从而G-D结构仅能输出带有Y域风格的图像，但是D无法判断输出后的图像是否是原始图像的改变，因此需要加入cycle-consistency，转换风格后的图像再经过一个G：Y → X得到的图像应该与原始图像近似相等，即x → G(x) → F(G(x)) ≈ x，Y域同理，如下图：

进一步规范mapping,我们介绍两个周期的一致性损失（cycle consistency loss）并说明了，如果我们从一个域转换到另一个域，然后再转换回来，我们应该会回到开始的地方:(b)向前循环一致性损:x → G(x) → F(G(x)) ≈ x, Y和©向后循环一致性损:y → F(y) → G(F(y)) ≈ y。由此可以得出cycle loss：

故总LOSS函数为：

其中G，F为生成器，DX，DY为判别器，即：

模型：

下图展示了本文提出的cycle-consistency loss：(a)我们的模型包含两个映射函数G: X→Y和F: Y→X，以及相关的对抗鉴别器DY和DX。DY鼓励G将X转换成与域Y难以区分的输出，反之亦然。

成果：
1.不同GAN网络对图像的处理效果与准确率对比：
不同对抗网络对统一输入（on Cityscapes）的不同效果：

不同对抗网络对统一输入（on Google Maps）的不同效果：

以及一些对不同图像的准确率比较：

2.CycleGAN加入不同LOSS等的比较
Cycle，GAN，CycleGAN以及forward，backword之间的比较：

用PIX2PIX数据集在CycleGAN上测试：

CycleGAN加入identity mapping loss的效果，可以看出恒等映射LOSS有助于预先处理输入绘画的颜色。

3.风格迁移效果：