梯度消失/梯度爆炸

训练神经网络,尤其是深度神经网络所面临的一个问题就是梯度消失和梯度爆炸,也就是当训练神经网络的时候,导数或者坡度有时会变得非常大,或者非常小,甚至于以指数方式变大或者变小,这加大了训练的难度。

 

神经网络的权重初始化: