ResNet 网络 学习笔记

一. 背景 网络的结构越深，提取的特征越抽象，越具有丰富的语义信息。但是随着网络的加深，会存在梯度弥散或者梯度爆炸等问题（之前的解决方案是引入BN层（可以看成一种正则化的方式））。几十层的网络训练引入BN正则化能得到解决梯度问题，但是会引入网络“退化”问题，退化问题指的是：网络层数增加，但是在训练集上的准确率却饱和甚至下降了. 二. 怎么解决退化问题？–》 残差块 残差块打破了传统的神经网络n-1

>>阅读原文<<