深度学习基础----残差网络

为什么要提出残差网络？ 深度网络不是越深越好。会出现梯度消失或者梯度爆炸，网络训练难度加大。 何凯明做了实验，浅层网络比深层网络的训练误差和测试误差都要小。 梯度消失：反向传播的时候，越到前面（浅层网络），梯度越小。原因之一是sigmoid函数两边很平缓，即两边梯度衰减是很快的。 残差干了啥？ shortcut: 不经过权重和激活函数 解释：　x是前面模块的输出，F(x)是后面模块的输出。则下面一

>>阅读原文<<