梯度消失 梯度爆炸

假设我们现在需要计算一个函数f(x,y,z)=(x+y)*z，在x = -2,y = 5,z = -4时的梯度，那么首先可以做出如下所示的计算图。 将x = -2,y = 5,z = -4带入，其中，令x+y = q ,一步步计算，很容易就能得出f(-2,5,-4) = -12 。 这就是前向传播（计算图上部分绿色打印字体与蓝色手写字体),前向传播是从输入一步步向前计算输出，而反向传播则是从输出反

>>阅读原文<<