chapter-4-介绍神经网络

反向传播 首先介绍一个概念:计算图。简单来说,计算图是一个函数的可视化表达,如下图: 其中每个节点代表一个计算。 利用计算图,我们可以很容易地使用反向传播的思想计算每个变量的梯度: 首先我们在每个运算后定义一个变量来保存其对应的运算结果,如上图的q和f;然后我们从后向前地分别计算每个运算结果对其上一级变量的导数,如df/dq、df/dz、dq/dx;依次这样做,直到到达了计算图的最前面,即输入数据
相关文章
相关标签/搜索