七、【李宏毅机器学习（2017）】Backpropagation（反向传播算法）

上一篇博客介绍了深度学习的历史和思想，本篇博客将介绍在神经网络计算中经常使用的反向传播算法。

---

目录

• 复习
  • Gradient Descent
  • 链式求导法则
• Backpropagation
  • 反向传播算法介绍
  • 前向传播算法和反响传播算法

---

复习

Gradient Descent

在学习反向传播算法以前从新回归一下梯度降低算法，在神经网络求解最优化Loss function所使用的方法就是梯度降低算法，反向传播算法可以在神经网络计算中更高效地计算。

$\quad$

链式求导法则

在神经网络中，由于有着多个隐藏层，因此在计算偏导数的过程当中要使用到链式求导法则。

$\quad$

Backpropagation

反向传播算法介绍

Backpropagation的目的是极小化Loss function$L(\theta)$ ，便是每一笔data的loss function$C(\theta)$之和，所以计算$L(\theta)$的偏微分等价于计算每一笔$C(\theta)$的偏微分，再将之加总。如今对一个观测拿出红色三角区域部分进行分析。

根据链式求导法则$\frac{\partial C}{\partial w} =\frac{\partial C}{\partial z} \frac{\partial z}{\partial w}$，其中$z=x_1w_1+x_2w_2+b$，所以$\frac{\partial z}{\partial w}$能够很轻松计求解。

接下来咱们开始计算$\frac{\partial C}{\partial z}$部分，以下图所示，$\frac{\partial C}{\partial z} = \frac{\partial a}{\partial z} \frac{\partial C}{\partial a} = \sigma ^{'}(z)(\frac{\partial z^{'}}{\partial a}\frac{\partial C}{\partial z^{'}}+\frac{\partial z^{''}}{\partial a}\frac{\partial C}{\partial z^{''}})=\sigma ^{'}(z)[w_3 \frac{\partial C}{\partial z^{'}}+w_4 \frac{\partial C}{\partial z^{''}}]$

如今开始计算$\frac{\partial C}{\partial z^{'}}$和$\frac{\partial C}{\partial z^{''}}$——

• 若是$z^{'},z^{''}$是最后一个神经元的input
  $$\frac{\partial C}{\partial z^{'}}=\frac{\partial y_1}{\partial z^{'}} \frac{\partial C}{\partial y_1},\frac{\partial C}{\partial z^{''}}=\frac{\partial y_2}{\partial z^{''}} \frac{\partial C}{\partial y_2}$$
  
• 若是$z^{'},z^{''}$不是最后一个神经元的input
  

从后面逆向算，先算$\frac{\partial C}{\partial z_5},\frac{\partial C}{\partial z_6}$，此时$\frac{\partial C}{\partial z_3} =\sigma^{'} (z_3)[w_5^{'}\frac{\partial C}{\partial z_5}+w_5^{''}\frac{\partial C}{\partial z_6}]$，依此类推能够一直算到第一层。

$\quad$

前向传播算法和反响传播算法