详解梯度消失、梯度爆炸问题

1、梯度消失（vanishing gradient problem）、梯度爆炸（exploding gradient problem）原因 神经网络最终的目的是希望损失函数loss取得极小值。所以最终的问题就变成了一个寻找函数最小值的问题，在数学上，很自然的就会想到使用梯度下降（求导）来解决。 梯度消失、梯度爆炸其根本原因在于反向传播训练法则（BP算法）：是指在使用梯度下降法对误差进行反向传播时，

>>阅读原文<<