【深度学习篇】--神经网络中解决梯度弥散问题

 一、前述 在梯度下降中，随着算法反向反馈到前面几层，梯度会越来越小，最终，没有变化，这时或许还没有收敛到比较好的解，这就是梯度消失问题，深度学习遭受不稳定的梯度，不同层学习在不同的速度上   二、解决梯度弥散和消失方法一，初始化权重使用he_initialization 1、举例 如果我们看逻辑激活函数，当输入比较大，不管正负，将会饱和在0或1，这样梯度就是0，因此当反向传播开始，它几乎没有梯度

>>阅读原文<<