TensorFlow实战—ResNet

ResNet：

(1) 152层网络，ILSVRC2015比赛第一名

(2) Highway Network：

• 神经网络的深度对其性能很是重要，可是网络越深训练难度越大，Highway NetWork容许的目标就是解决极深的神经网络难以训练的问题。
• Highway Network至关于修改了每一层的激活函数，此前的激活函数只是对输入作一个非线性变换，该网络则容许保留必定比例的原始输入x。
• 所以前面一层的信息，有必定比例能够不通过矩阵乘法和非线性变换，直接传输到下一层，仿佛一条信息高速公路，所以叫Highway Network。
• Highway Network主要经过gating units学习如何控制网络中的信息流，即学习原始信息应保留的比例。借鉴了早期LSTM中的gating。
• Highway Network的设计在理论上容许其训练任意深的网络，其优化方法基本上与网络的深度独立，而传统的神经网络结构则对深度很是敏感，训练复杂度随深度增长而急剧增长。

(3) ResNet灵感：

• 在不断加深神经网络时，会出现一个Degradation的问题，即准确率会上升而后达到饱和，再持续增长深度则会致使准确率降低。
• 这并非过拟合，由于不光在测试集上偏差增大，训练集自己偏差也会增大。
• 假设有一个比较浅的网络达到了饱和的准确率，那么后面再加上几个y=x的全等映射层，起码偏差不会增长，即更深的网络不该该带来训练集上偏差上升。

(4)残差学习单元：

• F(x)=H(x)-x

(5)解决的问题：

• 传统的卷积层或全链接层在信息传递时，存在信息丢失、损耗。
• ResNet在某种程度上解决了这个问题，直接将输入信息绕道传到输出，保护信息的完整性，整个网络则只须要学习输入和输出的差异的那个部分，简化学习目标和难度。

(6) ResNet V2

• 前馈和反馈信号能够直接传输，skip connection的非线性激活函数（如ReLU）替换为Identity Mappings(y=x)
• ResNet V2在每一层中都使用了Batch Normalization，残差学习单元更容易训练且泛化性更强。

(7) others

• ResNet相似没有gates的LSTM，即将输入x传递到后面的过程是一直发生的，而不是学习出来的。
• 论文The power of depth for feedforward neural networks从理论上证实加深网络比加宽网络更有效。

 

参考资料：

《TensorFlow实战》黄文坚  唐源 著