深度学习---梯度消失与梯度爆炸问题

深度学习—梯度消失与梯度爆炸问题 梯度消失与梯度爆炸问题来源于网络的反向传播。 以sigmoid激活函数为例，其函数图像成一个S型，如下所示，它会将正无穷到负无穷的数映射到0~1之间： sigmoid激活函数的导数f’(x) = f(x)(1-f(x))，取值范围为(0.0.25] 1）梯度消失：反向传播时，根据链式法则，若网络权重|w|小于1，随着网络层数增加，求导时多个小于1的数相乘，使得导数

>>阅读原文<<