神经网络VD问题

综述 随着神经网络每层的学习速度其实是不一样的，并且随着层数增加这个问题就越来越明显。一般来说，接近输出层学习速率快，前面的层数学习慢，并随着层数增加学习越来越慢。这种情况我们称为梯度消失（vanishing gradient problem）。下面我们就来分析一下为什么会出现这种情况，并给出解决方案。 理论推导 若有一个神经网络如下： 神经网络有6层，其中每层都有一个神经元。要想知道为什么层数增

>>阅读原文<<