ICCV2019 oral：Wavelet Domain Style Transfer for an Effective Perception-distortion Tradeoff in Si...

引言

　　基于低分辨率的图像恢复高分辨图像具备重要意义，近年来，利用深度学习作单张图像超分辨主要有两个大方向：一、减少失真度（distortion, 意味着高PSNR）的图像超分辨，这类方法主要最小化均方偏差；二、提升感知质量(perception)的图像。这类方法主要利用GAN来作约束，使得生成的图像和真实的高分辨率图像尽量符合相同分布。这两大方向存在一种tradeoff，由于一般低失真度（高PSNR）的图像每每感知质量不高，不符合人眼认知，而高感知质量（本文用NRQM指标度量，高NRQM）的图像，用PNSR指标衡量较低。以下图：

 

 

 　　当前有工做考虑分别用两个网络训练生成低失真度和高感知质量的图像，再进行插值融合。然而图像的objective quality和perception quality由图像的不一样部分影响，若是将目标图像做为总体优化，提升objective quality时，perception quality会降低，反之亦然。所以本文提出一种新的两图像（低失真度和高感知图像）融合策略。本文利用小波变换将图像分解成低频部分和高频部分，低频部分影响objective quality，高频部分影响perception quality.

 

---

Motivation（动机）

　　论文将利用CX算法获得的高分辨图像$A_p$（high perception quality）、EDSR算法获得的高分辨图像$A_o$(high objective quality)、GroundTruth进行Haar小波分解,获得一个低频子带和三个高频自带，并展现它们的直方图，发现$A_o$图像低频部分和GroundTruth对应的低频部分分布很接近，而$A_p$的三个高频子带的分布和GroundTruth对应的高频子带分布很接近。

 

---

算法:

　　将$A_o$分解为 $LL^{o}, LH^{o}, HL^{o}, HH^{o}$, $A_p$分解为$LL^{p}, LH^{p}, HL^{p}, HH^{p}$, 融合后的图像子带$LL^{r}$, $LH^{r}$, $HL^{r}$, $HH^{r}$.算法整体框架以下：

 　　利用LSE网络，以$LL^{o}$做为输入恢复$LL^{r}$，利用WDST网络，以$LH^{o}$,$LH^{p}$，$LH^{r}$做为网络输入，其中$LH^{r}$做为可训练参数（具体细节后面再说）。$HL^{r}$,$HH^{r}$同理可得。

LSE网络以下：

WDST网络以下：

第一部分：重构$LL^{r}$

　　考虑GroundTruth的$LL^{gt}$子带和$LL^{o}$最类似，直接用$LL^{o}$恢复。利用VDSR网络思想，网络学习$LL^{gt}$和$LL^{o}$的残差。损失函数以下：

　　

 　　其中$LL^{r}$为$LL^{o}$和网络的输出。重构网络为LSE网络。

训练细节：

 　　网络的训练以学习率1e-3,SGD优化算法（动量为0.9，衰减因子1e-4），梯度裁剪完成。

 

---

第二部分：重构$LH^{r}$, $HL^{r}$, $HH^{r}$

　　拿$LH^{r}$举例，用$LH^{o}$和$LH^{p}$融合获得$LH^{r}$.考虑到$LH^{p}$中的小波系数内容比$LH^{o}$的丰富，非0系数更多，指望将$LH^{p}$中的细节小波系数变换到$LH^{o}$中，所以将$LH^{p}$做为风格输入(style input)，$LH^{o}$做为内容输入(content input)。不一样于传统的风格迁移算法——输入是像素值，这里的输入小波系数，所以首先将小波系数归一化到0-1（值减去最小值，再除以最大值）

　　损失函数有三个：content loss($L_c$), style loss($L_s$)和$L_1$范数损失（保持重构小波系数的稀疏性）。以下：

 

 

 　其中

　　　　

 　　这里其实是基于预训练的VGG做为WDST网络，只有一个参数是可训练的，那就是$LH^{r}$.

训练细节：用的L-BFGS优化算法.$\alpha=1e-3, \omega=0.2, \beta=1, \gamma=1e-5$

---

实验结果

　　定量结果（PSNR/NRQM）：

 

 

 　　定性结果：

 

 

 

 

---

对比实验：

一、考虑不一样小波分解产生的影响：

 

根据实验能够看出，用不一样小波分解对实验结果影响不大。

 二、不一样高频子带重构，对最终的影响

 

 能够看出三个高频子带都有贡献，相比于$LH, HL$,$HH$的贡献最小，由于$HH$为对角方向信息，不如$LH, HL$他们携带的信息多。

---

相关连接

http://openaccess.thecvf.com/content_ICCV_2019/papers/Deng_Wavelet_Domain_Style_Transfer_for_an_Effective_Perception-Distortion_Tradeoff_in_ICCV_2019_paper.pdf