关于梯度消失/爆炸理解

深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。 1. 梯度不稳定问题 　　根本原因在于前面层上的梯度是来自于后面层上梯度的乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景。                         梯度消失     梯度爆炸 所以可以使用Relu()函数   f(x) = max(0,x)

>>阅读原文<<