关于反向传播我听到最好的解释

首先,chain rule了解一下: C是y_和y的距离(也可以理解为损失函数) C对w求偏微分,有两部分,一部分是forward ,一部分是backward. 如何计算forward pass,非常简单,就是input. 举个例子: 接下来看backward pass: 将上图与下图对比,就可以看出backward的含义了,如果我们最最后面开始往前算,一步一步,就相当于反向传播了。
相关文章
相关标签/搜索