如何直观的解释back propagation算法(二)

利用计算图做自动微分时，既有前向模式，也有反向模式。而神经网络中的反向传播就是自动微分的反向模式。事实上，我们还可以用“前向传播”来计算神经网络中的梯度值，但是由于效率原因这个方法并没有被采用。 我们首先考虑下面这个计算图 我们的终极目标是为了计算输出对输入的梯度，即 （注意，这里输出L是一维的，即实数，因此是梯度。而x,y,z可以是多维的向量。这个维度的差异非常关键）。y与z可以看做中间状态变量

>>阅读原文<<