梯度消失/梯度爆炸

训练神经网络，尤其是深度神经网络所面临的一个问题就是梯度消失和梯度爆炸，也就是当训练神经网络的时候，导数或者坡度有时会变得非常大，或者非常小，甚至于以指数方式变大或者变小，这加大了训练的难度。   神经网络的权重初始化：

>>阅读原文<<