解决梯度消失和梯度爆炸的ResNets

！非常非常深的网络是很难训练的，因为存在梯度消失和梯度爆炸的问题，利用跳远连接构建能够训练深度网络的ResNets，有时深度可能超过一百层。ResNets是由残差块构建的，什么是残差块呢？ 这里的g是指Relu非线性函数，信息流从a[l]—>a[l+2]需要经过以上所有步骤，在残差网络中有一点变化：我们将a[l]直接拷贝到神经网络的深层，在线性**之后，Relu非线性**之前加上a[l]，这使a[

>>阅读原文<<