dropout与典型神经网络

‘                           ResNet中用到了参差网络，这个的目的是避免梯度弥散。因为如果没有参差网络得话，那么神经网络可以理解为一个嵌套得函数，G(k(M(N(X))))，在梯度回传得时候，如果有哪个嵌套函数是个猪队友，其为0，那么前面得层根本得不到训练，使得训练深层次的网络成为一个很难实现的问题。如果加入了参差网络，就不至于出现梯度弥散的问题，因为多加了一个x。就

>>阅读原文<<