ResNet的skip connection 残差网络的学习

今天我们介绍一下残差网络，学习完前面的知识我们会知道网络的深度对于模型的性能是至关重要的，所以理论上而言模型更深可以取得更好的结果。但是事实真的是这样的吗？实现发现深度网络会出现退化的问题：网络深度增加时，网络准确度出现饱和，甚至会出现下降。这不是过拟合问题，而是由于深层网络中存在梯度消失和梯度爆炸的问题，这使得深度学习模型很难训练， ResNet的skip connection就是为了解决梯度消

>>阅读原文<<