基于深度卷积神经网络和跳跃链接的图像去噪和超分辨

Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections

做者：Xiao-Jiao Mao、Chunhua Shen等

本文提出了一个深度的全卷积编码-解码框架来解决去噪和超分辨之类的图像修复问题。网络由多层的卷积和反卷积组成，学习一个从受损图像到原始图像的端到端的映射。卷积层负责特征提取，捕获图像内容的抽象信息，同时消除噪声/损失。相对应，反卷积层用来恢复图像细节。

网络结构

在底层图像修复领域，因为池化操做会丢失有用的图像细节信息，所以，本网络没有用到池化层，是一个全卷积的网络结构。

卷积层的特征图和与之相应成镜像关系的反卷积层特征图进行跳跃链接，对应像素直接相加后通过非线性激活层而后传入下一层。

受 VGG 模型的启发，卷积核大小都设置为为 3*3。另外，因为网络结构本质上是一个像素级的预测，所以输入能够是任意大小的图片，输出和输入保持一致。

反卷积解码器

在全卷积的状况下，噪声一步步地被消除。通过每个卷积层后，噪声等级减少，图像内容的细节也可能会随之丢失。在本篇论文提出的结构中，卷积层保留了主要的图像内容，而反卷积层则用来补偿细节信息，能够达到良好去噪效果的同时较好地保留图像内容。

另外一方面，卷积层逐渐减少特征图的大小，反卷积层再逐渐增大特征图的大小，最终确保输入输出大小一致，也能够保证在移动端计算能力有限状况下的测试效率。

跳跃链接

正如残差网络的设计初衷，跳跃链接能够解决网络层数较深的状况下梯度消失的问题，同时有助于梯度的反向传播，加快训练过程。

经过传递卷积层的特征图到反卷积层，有助于解码器拥有更多图像细节信息，从而恢复出更好的干净图像。

针对输入噪声图像 X 和输出干净图像 Y，本网络致力于学习一个残差即 F(X) = Y - X。

讨论

实验 (a) 对比有无跳跃链接状况下 PSNR 随迭代次数的变化，能够看到有跳跃链接的状况下 PSNR 有显著提升。

实验 (b) 对比不一样网络结构下 Loss 值随迭代次数的变化，能够看到在同等层数的网络下，有跳跃链接时 Loss 值相对要小不少。

实验 (c) 对比通常的残差网络(由一系列的残差块组成)和本文提出的网络状况下 PSNR 随迭代次数的变化，能够看到本文中提出的这种跳跃链接方式能够得到更好的 PSNR。

网络的大容量使得本文提出的结构可以处理不一样噪声等级的图像去噪问题和不一样尺寸参数的超分辨问题。

实验

由于本网络的卷积核仅仅是为了消除噪声，所以对图像内容的方向不敏感。因此，在测试的时候，咱们能够旋转或者镜像翻转卷积核进行屡次前向传播，而后对屡次的输出取平均从而获得一个更平滑的结果。

图像去噪的实验结果对比

图像超分辨的实验结果对比

能够看到，RED-20, 10 层卷积 10 层反卷积的状况下已经取得了比传统方法好的效果，并且加深网络以后还能够取得更好的效果。

噪声等级越大，本文中提出的网络比其余网络的提升幅度就越大，也就是优点越明显。

微信关注「seniusen」，获取更多精彩!