【AI不惑境】残差网络的前世今生与原理

在深度学习模型发展史中，残差网络因其简单而有效的结构与异常有效的结果而占据了非常重要的位置，今天就来仔细说说它的来龙去脉。 1 残差网络之前的历史 残差连接的思想起源于中心化，在神经网络系统中，对输入数据等进行中心化转换，即将数据减去均值，被广泛验证有利于加快系统的学习速度。 Schraudolph[1]将这样的思想拓展到了梯度的反向传播中，不仅是输入和隐藏层单元的激活值要中心化，梯度误差以及权重

>>阅读原文<<