残差网络

残差网络

残差网络（Residual Network简称ResNet）是在2015年继Alexnet Googlenet VGG三个经典的CNN网络以后提出的，并在ImageNet比赛classification任务上拔得头筹，ResNet因其简单又实用的优势，现已在检测，分割，识别等领域被普遍的应用。
    ResNet能够说是过去几年中计算机视觉和深度学习领域最具开创性的工做,有效的解决了随着网络的加深，出现了训练集准确率降低的问题，以下图所示：

Fig. 1
  图中56层的普通神经网络在训练集上的表现明显的比20层的差不少，从而致使在测试集上的表现也相对较差。

作过深度学习的同窗应该都知道，随着网络层数的增长而致使训练效果变差的一个缘由是梯度弥散和梯度爆炸问题(vanishing/exploding gradients)，这个问题抑制了浅层网络参数的收敛。可是这个问题已经经过一些参数初始化的技术较好的解决了，有兴趣的同窗能够看下如下几篇文章[2][3][4][5][6]。
可是即使如此，在网络深度较高的时候(例如图中的56层网络)任然会出现效果变差的问题，咱们在先前的Alexnet Googlenet VGG三个模型中能够看出，网络的深度在图片的识别中有着相当重要的做用，深度越深能自动学习到的不一样层次的特征可能就越多，那究竟是什么缘由致使了效果变差呢？
ResNet的提出者作出了这样的假设：若是一个深层的网络在训练的时候可以训练成一个浅层的网络加上一堆恒等映射的网络，那这样的获得的深层网络在训练的偏差上是不会比这个浅层的网络还要高的，因此问题的根源可能在于当网络深度较深的时候，多层的非线性的网络在拟合恒等映射的时候遇到了困难，因而就提出了一种“短路”（shortcut connections）的模型来帮助神经网络的拟合，以下图所示：

     Fig. 2
假设

是咱们最终要拟合的函数，则令 

 其中

表明普通的堆叠起来的网络拟合出来的函数，

 是输入，普通网络的激活函数用的是ReLU函数。很是简单的一个结构，整个网络就是普通网络加上一个恒等映射，普通网络只是整个网络的一部分（

），这也是 Residual （剩余的）名字的由来。由上述结构能够获得公式：

                                                           

这里的 

 是输出，

 是输入，

 是图中“短路”的起点和终点之间的网络所要拟合的函数，

是第 

 层的系数矩阵。图中是用的普通的网络，但对于卷积网络这种结构也一样适用。对于这个公式须要注意的 一点是这里的输入和输出多是不一样维度的，须要用一个线性映射解决这个问题：
                                           

                                                      

这里 

 也是系数矩阵。
下面咱们来看做者设计的34层ResNet的结构与VGG网络结构的对比（参加比赛使用的网络达到了152层）：

Fig. 3
左侧19层的VGG模型的计算量是 19.6 billion FLOPs 中间是34层的普通卷积网络计算量是3.6 billion FLOPs
右边是34层的ResNet计算量是3.6billion FLOPs，图中实线的箭头是没有维度变化的直接映射，虚线是有维度变化的映射。经过对比能够看出VGG虽然层数很少可是计算量仍是很大的，后面咱们能够经过实验数据看到34层的ResNet的表现会比19层的更好。
更详细的结构以下图所示（包括一些层数更多的ResNet）：

Fig. 4

残差网络虽然在结构和原理上都很是简单，但表现不俗且解决了随着深度增长效果变差的问题，下面是实验数据：

                                                                            Fig. 5
这是普通网络（左）和残差网络（右）的对比，图中细线表明训练偏差，粗线表明检验偏差，蓝色是18层，红色是34层。从图中能够看出普通网络是存在较深的网络比浅的网络效果差的问题，而残差网络倒是层数越高效果越好。

Fig. 6
这是残差网络,VGG和GoogleNet在ImageNet数据集上的测是数据，top-1 err表示1000种类别中分类错误的几率，top-5 err 表示1000种类别中网络得出的最有可能的5种类别中任然没有正确类别的几率。图中34层A,B,C是指上文提到的输入输出维度不一致问题中当卷积层之间维度变高的时候采起的三种方案，A是将全部增长的维度都用0填充。（zero-padding）B 是保持原始输入，增长的维度用线性映射填充。C 是将全部的输入都进行线性映射再加到输出中。
从图中能够看出在效果上，34层的残差网络比VGG和GoogleNet都要好，A，B，C三种方案中C方案效果最好，可是B，C方案在计算量上比A方案要大不少，而效果提高的又不多，因此论文做者建议仍是使用A方案较为实用。
下面咱们介绍层数在50及以上的残差网络的结构: Deeper Bottleneck Architectures。这种结构是做者为了下降训练时间所设计的，结构对好比下图所示：

Fig. 7
图中左边是34层ResNet使用的普通的结构，右边是50层及以上的所使用的瓶颈（Bottleneck）结构，
这里的瓶颈结构中有两个1X1但通道数分别为64和256，第一个是将256通道的输入降维到64通道，第二个是将64通道升维到256通道。中间是普通的3X3的卷积网络，最后总体的计算量与左边的相近。这样的结构的好处是在卷积的同时就完成了维度上的适应，输入能够直接加到输出上，这样可让计算量减小一半之多。在图5中有50层网络的整个结构，总共的计算量为 3.8 billion FLOPs 只比34层的多0.2 个billion。
一样的在图4和图5中能够看出101层和152层的残差网络也用这种结构在计算量上比16层的VGG还要少，而在准确度上比VGG高出许多。

总结：

ResNet经过残差学习解决了深度网络的退化问题，让咱们能够训练出更深的网络，这称得上是深度网络的一个历史大突破吧。也许不久会有更好的方式来训练更深的网络，让咱们一块儿期待吧！
目前，您能够在人工智能建模平台 Mo 找到基于tensorflow 的34层的残差网络（ResNet）实现样例，数据集是CIFAR-10 （CIFAR的十分类数据集），这个样例在测试集上的精度为90%，验证集上的精度为98%。主程序在ResNet_Operator.py中,网络的Block结构在ResNet_Block.py中，训练完的模型保存在results文件夹中。
项目源码地址：momodel.cn/explore/5d1…


参考文献：
[1] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. arXiv preprint arXiv:1512.03385,2015.
[2] Y. LeCun, L. Bottou, G. B. Orr, and K.-R.M¨uller. Efficient backprop.In Neural Networks: Tricks of the Trade, pages 9–50. Springer, 1998.
[3] X. Glorot and Y. Bengio. Understanding the difficulty of training deep feedforward neural networks. In AISTATS, 2010.
[4] A. M. Saxe, J. L. McClelland, and S. Ganguli. Exact solutions to the nonlinear dynamics of learning in deep linear neural networks.arXiv:1312.6120, 2013.
[5] K. He, X. Zhang, S. Ren, and J. Sun. Delving deep into rectifiers:Surpassing human-level performance         on imagenet classification. In ICCV, 2015.
[6] S. Ioffe and C. Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In ICML, 2015.

关于咱们

Mo（网址：momodel.cn）是一个支持 Python 的人工智能在线建模平台，能帮助你快速开发、训练并部署模型。

---

Mo 人工智能俱乐部 是由网站的研发与产品设计团队发起、致力于下降人工智能开发与使用门槛的俱乐部。团队具有大数据处理分析、可视化与数据建模经验，已承担多领域智能项目，具有从底层到前端的全线设计开发能力。主要研究方向为大数据管理分析与人工智能技术，并以此来促进数据驱动的科学研究。

目前俱乐部每周六在杭州举办以机器学习为主题的线下技术沙龙活动，不按期进行论文分享与学术交流。但愿能汇聚来自各行各业对人工智能感兴趣的朋友，不断交流共同成长，推进人工智能民主化、应用普及化。