神经网络梯度消失或爆炸

时间 2020-12-22

原文原文链接

神经网络梯度的消失在于多层的求偏导后，值越来越小，导致梯度非常接近于0. 造成这个现象的主要原因在于激活函数：从上图我们可以看到常用激活函数Sigmoid, Tanh, 以及Relu 的倒数的取值范围都在 0~1 之间，所以在多层神经网络以后这个梯度会出现消失现象：比如说每一层的梯度都是0.8，在经过 50层以后 0.8**50 = 0.0000143. 所以整个模型的学习进程会非常慢。