模式识别课程笔记——梯度消失与激活函数

1、梯度消失的产生原因 使用sigmoid函数作为激活函数时，靠近输出层的梯度较大，更新较快；靠近输入层的梯度较小，更新较慢。因此当靠近输出层的梯度更新完成时，靠近输入层的权重未得到充分更新，仍保持几乎随机的状态。 靠近输入层的函数梯度小的原因：   偏导约等于变化量的比值，当激活函数是sigmoid函数时，输入变化量很大，所对应输出的变化量却很小。如此从最后的梯度向前依次传递，离输出很远的部分梯

>>阅读原文<<