10.神经网络与深度学习（九）—梯度消失问题

1）引言 终于开始进入深度学习了，其实深度学习就是多层神经网络训练数据。 2）什么是梯度消失问题？ 梯度消失问题实际上是指在隐藏层BP的时候梯度是逐渐变小的。也就是说前面隐藏层的学习速度比后面的隐藏层学习速度小。 3）什么导致了梯度消失 我们先看一个很简单的深度神经网络：每一层只有一个单一的神经元。下图就是三层隐藏层的神经网络： 我们这里先给出代价函数关于第一个隐藏神经元的梯度∂C/∂b1的公式，

>>阅读原文<<