点击上方“机器学习与生成对抗网络”，关注"星标"微信
获取有趣、好玩的前沿干货！
网络
Image Processing Using Multi-Code GAN Prior
https://arxiv.xilesou.top/pdf/1912.07116.pdf
尽管生成对抗网络（GAN）在图像生成里取得了巨大成功，可是将训练好的GAN模型应用到真实的图像处理任务仍然具备挑战性。无监督的GAN中，生成器一般将潜在空间Z映射到图像空间image，也就是没有地方提供去采纳一个真实图像做为输入，这致使训练好的模型没法进行很好地进行后续图像处理。
为了让训练好的GAN能用于处理图像，现有方法尝试以从新反向传播（寻找合适的Z）或者添加一个额外的编码器encoder将图像映射到潜在空间。但多数状况下二者的重建并不理想。
在这项工做中提出一种新的逆映射（image->Z）方法，将训练好的GAN做为一个有效的先验去处理多种图像处理任务。具体而言，给定须要作逆映射的GAN模型，使用多个潜码Z利用该GAN模型生成多个特征图（映射到生成器的某个中间层），而后计算它们的重要性系数最终组合并生成目标图像。这种多参数化潜码Z训练的方式能够显著提升图像的重建质量。而高质量的图像重建可使得训练好的GAN做为一种先验应用于许多真实场景下的应用，例如：图像上色、超分辨率、图像修复、图像语义物体操做编辑等等。同时论文还进一步分析了训练好的模型中每一层的表征属性，去解释每层所能表示的知识。
一个无监督、训练好的GAN能够经过从潜在空间Z中采样而后合成高质量的图像，也就是Z->image。而所谓的GAN逆映射指的是，找到一个合适Z去恢复目标图像，也就是image->Z（Z此时是一个待优化的参数）。
做者认为单码（single latent code）去恢复重建目标图像的全部细节so hard，因此使用多码，期待它们能够更全方面的去重建更细致的部分（将复杂任务细化、分而治之）。本文引进的所谓多码（multiple latent codes），如何将它们结合在一块儿优化是一个关键问题。
做者的方法是将生成器“分为”两部分，G1和G2，L是中间某层的特征输出，提出“自适应通道重要性”（Adaptive Channel Importance）去作融合后重建。
分别使用face、church、conference room、bedroom四个数据集预训练PGGAN，并以此做为先验。当使用single latent code去重建时，很难“覆盖先验”，出来的结果会呈现原训练集图像内容，而没法重建到目标图像。
本文提出了一种新颖的GAN逆映射方法。基于预训练的无监督GAN，使用多码（multiple latent codes）去重建目标图像的方法。实验代表该方法能够有效利用预训练好的GAN进行多种图像处理任务。
GAN整整6年了！是时候要来捋捋了！ app
新手指南综述 | GAN模型太多，不知道选哪儿个？
框架
数百篇GAN论文已下载好！搭配一份生成对抗网络最新综述！机器学习
CVPR2020之MSG-GAN：简单有效的SOTA
学习
CVPR2020之姿式变换GAN：图像里谁都会劈叉？
优化
3月已半，GAN最近都在整些啥？
编码
有点夸张、有点扭曲！速览这些GAN如何夸张漫画化人脸！
spa
见微知细之超分辨率GAN！附70多篇论文下载！
.net
天降斯雨，于我却无！GAN用于去雨如何？
脸部转正！GAN可否让侧颜杀手、小猪佩奇真容无处遁形？
容颜渐失！GAN来预测？
强数据所难！SSL（半监督学习）结合GAN如何？
弱水三千，只取你标！AL（主动学习）结合GAN如何？
异常检测，GAN如何gan ?
虚拟换衣！速览这几篇最新论文咋作的！
脸部妆容迁移！速览几篇用GAN来作的论文
【1】GAN在医学图像上的生成，今如何？
01-GAN公式简明原理之铁甲小宝篇
GAN&CV
交流群
，不管小白仍是大佬，诚挚邀您加入！