【论文阅读】Feedback Network for Image Super-Resolution

论文题目：用于图像超分辨率的反馈网络

摘要：

图像超分辨率（SR）的最新进展中展示出了深度学习的力量，目的是实现更好的重建性能。然而，现有的基于深度学习的图像超分辨率方法还没有充分利用人类视觉系统中常见的反馈机制。在本文中，咱们提出了一个图像超分辨率的反馈网络（SRFBN）来从新定义具备高级信息的低级表示。具体而言，咱们在具备约束的循环神经网络（RNN）中使用隐藏状态来实现这种反馈方式。反馈块旨在处理反馈链接，并生成强大的高级表示。所提出的SRFBN网络具备强大的早期重建能力，能够逐步建立最终的高分辨率图像。此外，咱们引入了课程学习策略，使网络很是适合于更复杂的任务，其中低分辨率图像被多种类型的降级所破坏。 大量的实验结果证实了与现有技术方法相比，所提出的SRFBN存在优越性。代码地址。

1. 介绍:：

图像超分辨率（SR）是一种低级的计算机视觉任务，旨在从低分辨率（LR）图像重建出高分辨率（HR）图像。因为多个HR图像可能致使相同的LR图像，所以它自己就是不统一的。为了解决这个问题，已经提出了多种图像SR方法，包括基于插值的方法，基于重建的方法和基于学习的方法。

Dong et al.等人首次提出使用浅层卷积神经网络（CNN）来实现图像SR，基于深度学习的方法因为其优越的重建性能而近年来引发了普遍的关注。基于深度学习方法的好处主要来自它的两个关键因素，即深度和skip connections.（残差或密集）。第一个提供了强大功能来表示和创建更复杂的LR-HR映射，同时用更大的感觉野保留更多的上下文信息。第二个因素能够有效地缓解因简单堆叠更多层以加深网络而致使的梯度消失/爆炸问题。

随着网络深度的增长，参数的数量也会增长。大容量的网络将占用大量存储资源并遭受过拟合问题。为了减小网络的参数，一般采用循环结构。最近的研究代表，许多具备重复结构的网络（例如DRCN 和DRRN ）能够表示为单状态循环神经网络（RNN）。与大多数传统的基于深度学习的方法类似，这些具备递归结构的网络可以以一种前馈的方式共享信息。然而，前馈方式使得前一层不可能从下一层访问有用的信息，即便使用了skip connections。

在认知理论中，链接大脑皮层视觉区域的反馈链接能够将反应信号从高阶区域传递到低阶区域，受到这一现象的启发，最近的研究将反馈机制应用于网络架构。这些体系结构中的反馈机制以自顶向下的方式工做，将高层信息带回前一层，并细化低层编码信息。

本文提出了一种新的图像SR网络，即超分辨率反馈网络(SRFBN)，经过反馈链接利用高分辨率反馈网络对低分辨率信息进行细化。提出的SRFBN本质上是一个带有反馈块(FB)的RNN，它是专门为图像SR任务设计的。FB由多组上下采样层构成，这些层具备密集的skip connections，以生成强大的高级表示。受[40]的启发，咱们使用FB的输出，即展开RNN中的隐藏状态，实现反馈方式(图1(a))。每次迭代的隐藏状态都会流向下一个迭代以调整输入。为了保证隐藏状态包含HR图像的信息，咱们在训练过程当中将损失与每次迭代联系起来。咱们反馈方案的原理是粗糙SR图像的信息能够方便LR图像重建出更好的SR图像(见图1(b))。此外，咱们设计了一个课程策略，其中LR图像是由一个复杂的退化模型生成的。对于每一幅LR图像，其连续迭代的目标HR图像根据重构的难易程度由易到难进行排序。这种课程学习策略有助于咱们提出的SRFBN处理复杂的退化模型。实验结果代表了该方法的优越性。

综上所述，咱们的主要贡献以下:

提出了一种图像超分辨率反馈网络(SRFBN)，它采用反馈机制。高级信息经过反馈链接以自顶向下的反馈流提供。同时，这种具备反馈链接的递归结构具备较强的早期重建能力，且只须要不多的参数。

提出了反馈块(FB)，它不只能有效地处理反馈信息流，还能经过上下采样层和密集的skip connections丰富高层表示。

提出了一种基于课程的SRFBN训练策略，将具备增量重建困难的HR图像做为目标输入网络进行连续迭代。这种策略使网络可以一步一步地学习复杂的退化模型，而一样的策略是不可能知足于那些只有一步预测的方法。

2. 相关工做

2.1 基于深度学习的图像超分辨率

深度学习在包括image SR. Dong等多变量计算机视觉任务中表现出了优越的性能。[7]首先在image SR中引入了三层CNN来学习复杂的LR-HR映射。Kim等人将CNN的深度增长到20层，以便在LR图像中使用更多的上下文信息。在[18]中，当网络变深时，采用跳跃链接来克服优化的困难。最近的研究采用了不一样类型的跳跃链接来实现对图像SR. SRResNet[21]和EDSR[23] ap- plied剩余跳跃链接[13]的显著改进。SRDenseNet[36]应用了来自[14]的密集跳过链接。Zhang等人在他们的RDN中组合了局部/全局剩余链接和密集跳过链接。因为这些网络体系结构中的跳过链接以自底向上的方式使用或组合层次特性，低层特性只能接收来自前一层的信息，因为接受域较小，缺少足够的互文信息。这些底层特征在随后的层中被重用，从而进一步限制了网络的重构能力。为了解决这个问题，咱们提出了一种超分辨率反馈网络(SRFBN)，在这种网络中，高层次的信息经过自顶向下的反馈链接流动，从而使用更多的反文本信息纠正低层次的特性。

与此同时，在跳链接的帮助下，神经网络能够进行更深刻的学习，从而得到更多的参数。这种大容量网络占用了大量的存储资源，存在着过分拟合的问题。为了有效下降网络参数，得到更好的泛化能力，采用了循环结构[19,31,32]。特别是在SRFBN中，循环结构对于实现反馈过程起着重要做用(图1(b))。

2.2 反馈机制

反馈机制容许网络携带输出的概念来纠正之前的状态。近年来，反馈机制已被许多网络架构用于各类视觉任务。

对于图像SR，也有一些研究对反馈机制进行了介绍。Haris等[11]基于反投影设计了上投影单元和下投影单元，实现了迭代偏差反馈。Han等人应用了一种延迟反馈机制，在双状态RNN中在两个递归状态之间传输信息。然而,信息的流动是从LR形象到最终的SR形象，与咱们不一样的是它们仍然是前馈网络架构。

其中最相关的工做是[40]，它将含有高层信息的隐藏状态转化为输入图像的信息，在卷积递归神经网络中实现反馈。然而，它的目标是解决高层次的视觉任务，例如分类。为了适应图像SR中的反馈机制，咱们精心设计了一个反馈块(FB)做为SRFBN中的基本模块，而不是像[40]中那样使用ConvLSTM。咱们的FB ef中的信息经过密集的跳过链接在层次层之间流动。实验结果代表，与ConvLSTM1相比，咱们的FB具备更好的重构性能，所以更适合于图像SR任务。

2.3 课程学习

课程学习[2]做为一种改善训练过程的有效策略，逐渐增长了学习目标的难度。早期课程学习工做主要集中在单一任务上。Pentina等人[27]以顺序的方式将课程学习扩展到多个任务。Gao等人利用课程学习来解决图像恢复中的固定问题。因为他们的网络仅限于一次预选，因此他们经过提供不一样的训练数据来实施课程，这些数据是根据训练过程当中任务的复杂性来肯定的。在image SR的背景下，Wang et al.[38]为金字塔结构设计了一门课程，该课程逐渐将之前训练过的网络中的金字塔融合到一个新的层次，从而将LR图像提高到更大的尺寸。

虽然之前的工做集中在一个单一的退化过程，咱们执行课程的状况下，LR图像被多种类型的退化损坏。该课程包含简单的决策，能够解决一个查询，逐步恢复损坏的LR图像。

3. 图像超分辨率上的反馈网络

反馈系统包含两个要求:(1)迭代性和(2)从新路由系统的输出，以纠正每一个循环中的输入。这种反复的因果过程有助于实现咱们的图像SR反馈方案的原则:高层信息能够指导LR图像恢复更好的SR图像(见图1(b))。提出网络中,有三个不可缺乏的部分执行咱们的反馈方案:(1)将失去在每一个——eration(迫使网络重建一个图像在每一个迭代,从而容许隐藏状态没有携带高层信息),(2)使用周期性结构(实现迭代过程)和(3)提供一个LR输入每一个迭代(确保底层——造成的可用性,须要细化)。这三部分的任何缺失都会致使网络没法驱动反馈流。

3.1 网络架构

如图2所示，咱们提出的SRFBN能够展开到T迭代中，其中每一个迭代T的节拍-顺序是从1到T。为了使SRFBN中的隐藏状态具备输出的概念，咱们将每次迭代的损失联系起来。损失函数的描述见第3.3节。在每一个迭代t中放置的子网络包含三个部分:LR特征提取块(LRFB)、反馈块(FB)和重构块(RB)。每一个块的权重是跨时间共享的。在每一个迭代t处的全局额外跳过链接提供一个向上采样的图像来绕过子网络。所以，每次迭代t的子网络的目的是在输入低分辨率图像ILR的同时恢复剩余图像IRt es。咱们将Conv(s,n)和Deconv(s,n)分别表示为卷积层和反卷积层，其中s为滤波器的大小，n为滤波器的个数。

LR特征提取块由Conv(3,4m)和Conv(3,m)组成，m表示滤波器的基本个数。咱们为LR特征提取块提供LR输入ILR，从中获取包含LR图像信息的浅层特征F:

其中表示的是LR特征提取块的操做。 被用来做为反馈块的输入。另外，被视为初始隐藏层的状态