梯度消失和梯度爆炸及解决方案

梯度在神经网络中的作用# 在谈梯度消失和梯度爆炸的问题之前，我们先来考虑一下为什么我们要利用梯度，同时铺垫一些公式，以便于后面的理解。 存在梯度消失和梯度爆炸问题的根本原因就是我们在深度神网络中利用反向传播的思想来进行权重的更新。即根据损失函数计算出的误差，然后通过梯度反向传播来减小误差、更新权重。 我们假设，存在一个如图所示的简单神经网络，我们可以得到相关的公式如右侧所示： 其中函数 g 是激活

>>阅读原文<<