对反向传播中梯度消失的全面理解

文章目录 一.神经网络如何传播？ 1.1 正向传播 1.2 反向传播 二.梯度消失如何产生？ 2.1 数学角度 2.2 激活函数角度 三.结论 一.神经网络如何传播？ 1.1 正向传播 如下图所示，两个输入值 X 1 X_1 X1​和 X 2 X_2 X2​，以第一层的第一个神经元 f 1 ( e ) f_1(e) f1​(e)为例。 正向传播先经过线性变换 e = x 1 w 1 + x 2 w

>>阅读原文<<