什么是梯度消失和梯度爆炸及如何解决

原因 梯度消失 （Vanishing Gradients） 在梯度下降中， 随着算法反向的反馈， 梯度会越来越小，最终没有变化，此时并没有收敛到比好的解，这就是梯度消失的问题。 梯度爆炸 梯度爆炸原理跟梯度消失一样，反向传播时，导数大于1，导致梯度增加。 解决方法 激活函数 更换激活函数 ELU > leaky ReLU > ReLU > tanh > logistic 添加BN层 Batch N

>>阅读原文<<