解读生成对抗网络（GAN） 之U-GAN-IT

Unsupervised Generative Attentionnal Networks with Adapter Layer-In（U-GAN-IT）

从字面咱们能够理解为无监督生成对抗网络和适配层的结合

 

论文实现：

• 论文实现了无监督图像的翻译问题，当两个图像之间两个图像、纹理差异较大时的图像风格（style）转换。
• 论文实现了相同的网络结构和超参数同时须要同时保持shape的图像翻译I（相似风格迁移可是图像自己形状这些原始shape不变），以及须要改变shape的图像翻译任务(我的观点，跨domain)

 

 

                      图1：风格迁移（horse2zebra）

 

                       

 

 

 图2跨domain的图像翻译（cat2dog）

创新：

在于这篇论文新增长了一个新的注意模块(attention)：辅助分类器和一个能够自主学习的规范化函数（自适应的归一化方式）AdaLIN，使得该模型具备更优越性。

• attention：加强判别器的鉴别能力，更好的区分原始图像和生成图像
• 自适应的归一化AdaLIN：加强鲁棒性

获得了在固定网络结构和超参数下保持形状（如horse2zebra）和改变形状（如cat2dog）的图像转换的预期结果。须要针对特定数据集调整网络结构或超参数设置。在这项工做中，咱们提出了一种新的无监督图像到图像的翻译方法，它以端到端的方式结合了一个新的注意模块和一个新的可学习的规范化函数。咱们的模型根据辅助分类器得到的注意图，经过区分源域和目标域，引导翻译关注更重要的区域而忽略次要区域。这些注意映射被嵌入到生成器和鉴别器中，以集中在语义上重要的区域，从而便于形状转换。而在生成器中的注意图将焦点诱导到专门区分这两个域的区域，而鉴别器中的注意映射经过聚焦目标域中真实图像和假图像的差别来帮助微调。除了注意机制外，咱们还发现，对于形状和纹理变化量不一样的数据集，归一化函数的选择对转换结果的质量有显著影响。受批处理实例规范化（BIN）（Nam&Kim（2018））的启发，咱们提出了自适应层实例规范化（AdaLIN），该方法经过自适应选择实例规范化（IN）和层规范化（LN）之间的比例，在训练过程当中从数据集学习参数。AdaLIN函数帮助咱们的注意力引导模型灵活地控制形状和纹理的变化量。不须要改变模型的总体形状，也不须要改变模型的总体形状。实验结果代表，与现有的模型相比，本文提出的方法在风格转换和物体变形方面都具备优点。拟议工做的主要贡献可归纳以下：

 

                               图3.生成器和判别器工做流程 

 

 

 

 

 

AdaLIN:

 

 

 

 

 

 

层级归一化Layer Norm（LN），更多考虑特征输入通道之间的相关性，自适应实例级归一化（IN）更多考虑的是单个特征通道的内容，能够更好地保存源图像的语义信息，可是对于风格转换不完全。因此本论文将二者相结合，而且作了不少实验从实验数据咱们能够看到这种学习方法，证实实验可用性。

 

Ateention：

图三中咱们能够分析出该神经网络的流程，首先通过一个编码器得到图片特征，编码器由上采样和残差block结构组成，而后通过全链接层得到一个预测E而后乘以权重以后通过attention以后的特征图通过解码（dencoder）以后得到最后的图片。

 

数据验证：

 

 

前置内容：

 

GAN的基本思想

纳什均衡，也叫非合做博弈均衡。

 

 

 

 

P_data(x) = P_gen(x) ∀_x

D(x) = 1/2 ∀_x

理解起来就是生成器的生成图片可以让判别器判别不出来为最终目的，经过一个数据样本的潜在分布生成一个新的数据样本，这和VAE（变分自编码器）是很类似的。

 

CycleGAN:

本篇论文应对cycleGAN有一个前置了解，本篇论文的网络结构基于cycleGAN

 

 

 x生成y，y反循环给x，确保F(G(X))≈X。

 

实验效果：

 

 

 

 

 

 

 

分析：

咱们复现论文能够从如下几点考虑

1. 该模型基于cycleGAN，因此应该对cycleGAN深刻了解

2.关于attention以及AdaLIN自适应的使用

 

git：https://github.com/znxlwm/UGATIT-pytorch

 

参考出处：

李宏毅GAN2018笔记 | GAN背后的数学理论

百度AI Studio论文精读