神经网络学习（三）反向（BP）传播算法（1）

系列博客是博主学习神经网络中相关的笔记和一些个人理解，仅为作者记录笔记之用，不免有很多细节不对之处。

几个定义

我们首先给出网络中权重的清晰定义。我们使用 wljk $w_{jk}^l$ 表示从 (l−1)th $(l-1{)}^{th}$ 层的第 kth $k^{th}$ 个神经元到 lth $l^{th}$ 层第 jth $j^{th}$ 个神经元的权重。例如，下图给出了网络中第二层的第四个神经元到第三层的第⼆个神经元的链接上的权重：

之所以如此定义权重矩阵的下标是，利于矩阵的相乘。我们对网络的偏置和激活值也会使用类似的表示。显式地，我们使用 blj $b_j^l$ 表示 lth $l^{th}$ 层第 jth $j^{th}$ 个神经元的偏置，使用 alj $a_j^l$ 表示 lth $l^{th}$ 层第 jth $j^{th}$ 个神经元的激活值，下面的图清晰地解释了这样表示的含义：

有了这些表示， lth $l^{th}$ 层第 jth $j^{th}$ 个神经元的激活值就与 (l−1)th $(l-1{)}^{th}$ 层的激活值建立起了联系

alj=σ(∑kwljkal−1k+blj)(1) $$\begin{array}{}\text{(1)}& a_j^l=\sigma \left({\sum }_k{w}_{jk}^l{a}_k^{l-1}+b_j^l\right)\end{array}$$

求和是在 (l−1)th $(l-1{)}^{th}$ 层所有 k $k$ 个神经元上进行的。上式可以方便改写成矩阵乘法的形式

al=σ(wlal−1+bl)(2) $$\begin{array}{}\text{(2)}& {\mathbf{a}}^l=\sigma \left({\mathbf{w}}^l{\mathbf{a}}^{l-1}+{\mathbf{b}}^l\right)\end{array}$$

这里为了简化计算，我们再引入一个中间变量，称为带权输入，

zl=wlal−1+bl(3) $$\begin{array}{}\text{(3)}& {\mathbf{z}}^l={\mathbf{w}}^l{\mathbf{a}}^{l-1}+{\mathbf{b}}^l\end{array}$$

那么激活值可以表示为带权输入的函数 al=σ(zl) ${\mathbf{a}}^l=\sigma \left({\mathbf{z}}^l\right)$。

在推导反向传播算法前，还需要定义个矩阵对应元素相乘的算子，这里采用Matlab的乘法符号 .*（点乘，矩阵对应元素相乘）。

BP算法四个基本方程

反向传播其实是对权重和偏置变化影响代价函数过程的理解。其本质的含义是计算偏导数 ∂C/∂wljk $\mathrm{\partial }C/\mathrm{\partial }{w}_{jk}^l$ 和 ∂C/∂blj $\mathrm{\partial }C/\mathrm{\partial }{b}_j^l$。但是为了计算简便性，我们需要再定义一个中间变量， δlj ${\delta }_j^l$，表示 lth $l^{th}$ 层第 jth $j^{th}$ 个神经元的误差。我们定义

δlj≡∂C∂zlj(4) $$\begin{array}{}\text{(4)}& {\delta }_j^l\equiv \frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_j^l}\end{array}$$

方程1

输出层误差的方程， δL ${\delta }^L$： 每个元素定义如下：

δLj=∂C∂aLjσ′(zLj)(BP1) $$\begin{array}{}\text{(BP1)}& {\delta }_j^L=\frac{\mathrm{\partial }C}{\mathrm{\partial }{a}_j^L}{\sigma }^{\prime }(z_j^L)\end{array}$$

上式利用了微分链式法则，右式第一个项 ∂C/∂aLj $\mathrm{\partial }C/\mathrm{\partial }{a}_j^L$ 表示代价函数随着 jth $j^{th}$ 输出激活值的变化而变化的速度。假如 C $C$ 不太依赖一个特定的输出神经元 j $j$，那么 δLj ${\delta }_j^L$ 就会很小，这也是我们想要的效果。右式第二项 σ′(zLj) ${\sigma }^{\prime }(z_j^L)$ 刻画了在 zLj $z_j^L$ 处激活函数 σ $\sigma$ 变化的速度。

注意到在(BP1)中的每个部分都是很好计算的。特别地，我们在计算网络行为时计算 zLj $z_j^L$，这仅仅需要一点点额外工作就可以计算 σ′(zLj) ${\sigma }^{\prime }(z_j^L)$。当然 ∂C/∂aLj $\mathrm{\partial }C/\mathrm{\partial }{a}_j^L$ 依赖于代价函数的形式。然而，给定了代价函数，计算 ∂C/∂aLj $\mathrm{\partial }C/\mathrm{\partial }{a}_j^L$ 就没有什么大问题了。例如，如果我们使用二次函数，那么 C=12∑j(yj−aj)2 $C=\frac{1}{2}\underset{j}{\sum }(y_j-a_j{)}^2$，所以 ∂C/∂aLj=(aj−yj) $\mathrm{\partial }C/\mathrm{\partial }{a}_j^L=(a_j-y_j)$，这其实很容易计算。

方程(BP1)对 δL ${\delta }^L$ 来说是个按分量构成的。这是一个非常好的表达式，但不是我们期望的用矩阵表示的形式。以矩阵形式重写方程其实很简单，

δL=∇aC.∗σ′(zL)(BP1a) $$\begin{array}{}\text{(BP1a)}& {\delta }^L={\mathrm{\nabla }}_{a}C.\ast {\sigma }^{\prime }(z^L)\end{array}$$

这里 ∇aC ${\mathrm{\nabla }}_{a}C$ 被定义成一个向量，其元素是偏导数 ∂C/∂aLj $\mathrm{\partial }C/\mathrm{\partial }{a}_j^L$。你可以将 ∇aC ${\mathrm{\nabla }}_{a}C$ 看成是 C $C$ 关于输出激活值的改变速度。方程(BP1)和方程(BP1a)的等价也是显而易见的，所以现在开始，我们会用(BP1)表示这两个方程。举个例子，在二次代价函数时，我们有 ∇aC=(aL−y) ${\mathrm{\nabla }}_{a}C=(a^L-y)$，所以 (BP1) 的整个矩阵形式就变成

δL=(aL−y).∗σ′(zL)(5) $$\begin{array}{}\text{(5)}& {\delta }^L=(a^L-y).\ast {\sigma }^{\prime }(z^L)\end{array}$$

方程2

使用下一层的误差 δl+1 ${\delta }^{l+1}$ 来表示当前层的误差 δl ${\delta }^l$：特别地，

δl=((wl+1)Tδl+1).∗σ′(zl)(BP2) $$\begin{array}{}\text{(BP2)}& {\delta }^l=((w^{l+1}{)}^T{\delta }^{l+1}).\ast {\sigma }^{\prime }(z^l)\end{array}$$

其中 (wl+1)T $(w^{l+1}{)}^T$ 是 (l+1)th $(l+1{)}^{th}$ 层权重矩阵 wl+1 $w^{l+1}$ 的转置。这个公式看上去有些复杂，但每一个元素有很好的解释。假设我们知道 l+1th $l+1^{\mathrm{t}\mathrm{h}}$ 层的误差 δl+1 ${\delta }^{l+1}$。当我们应用转置的权重矩阵 (wl+1)T $(w^{l+1}{)}^T$，我们可以凭直觉地把它看作是在沿着网络 反向移动误差，给了我们度量在 lth $l^{\mathrm{t}\mathrm{h}}$ 层输出的误差方法。

通过组合(BP1) 和(BP2)，我们可以计算任何层的误差 δl ${\delta }^l$。首先使用(BP1) 计算 δL ${\delta }^L$，然后应用方程(BP2)来计算 δL−1 ${\delta }^{L-1}$，然后再次用方程(BP2)来计算 δL−2 ${\delta }^{L-2}$，如此一步一步地反向传播完整个网络。

下一步，我们将证明(BP2)，为此，我们想要以 δl+1k=∂C/∂zl+1k ${\delta }_k^{l+1}=\mathrm{\partial }C/\mathrm{\partial }{z}_k^{l+1}$ 的形式重写 δlj=∂C/∂zlj ${\delta }_j^l=\mathrm{\partial }C/\mathrm{\partial }{z}_j^l$。我们可以用链式法则：

δlj=∂C∂zlj=∑k∂C∂zl+1k∂zl+1k∂zlj=∑k∂zl+1k∂zljδl+1k $${\delta }_j^l=\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_j^l}=\underset{k}{\sum }\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_k^{l+1}}\frac{\mathrm{\partial }{z}_k^{l+1}}{\mathrm{\partial }{z}_j^l}=\underset{k}{\sum }\frac{\mathrm{\partial }{z}_k^{l+1}}{\mathrm{\partial }{z}_j^l}{\delta }_k^{l+1}$$

这里最后一行我们交换了右边的两项，并用 δl+1k ${\delta }_k^{l+1}$ 的定义代入。为了对最后一行的第一项求值，注意：

zl+1k=∑jwl+1kjalj+bl+1k=∑jwl+1kjσ(zlj)+bl+1k $$z_k^{l+1}=\underset{j}{\sum }{w}_{kj}^{l+1}{a}_j^l+b_k^{l+1}=\underset{j}{\sum }{w}_{kj}^{l+1}\sigma (z_j^l)+b_k^{l+1}$$

做微分，我们得到

∂zl+1k∂zlj=wl+1kjσ′(zlj) $$\frac{\mathrm{\partial }{z}_k^{l+1}}{\mathrm{\partial }{z}_j^l}=w_{kj}^{l+1}{\sigma }^{\prime }(z_j^l)$$

把它代入我们得到

δlj=∑kwl+1kjδl+1kσ′(zlj) $${\delta }_j^l=\underset{k}{\sum }{w}_{kj}^{l+1}{\delta }_k^{l+1}{\sigma }^{\prime }(z_j^l)$$

这正是以分量形式写的(BP2)。

方程3

代价函数关于网络中偏置的改变率：

∂C∂blj=δlj(BP3) $$\begin{array}{}\text{(BP3)}& \frac{\mathrm{\partial }C}{\mathrm{\partial }{b}_j^l}={\delta }_j^l\end{array}$$

误差 δlj ${\delta }_j^l$ 和偏导数值 ∂C/∂blj $\mathrm{\partial }C/\mathrm{\partial }{b}_j^l$ 完全一致。这是很好的性质，因为(BP1) 和 (BP2) 已经告诉我们如何计算 δlj ${\delta }_j^l$。
这个证明十分简单：

∂C∂blj=∂C∂zlj∂zlj∂blj=∂C∂zlj=δlj $$\frac{\mathrm{\partial }C}{\mathrm{\partial }{b}_j^l}=\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_j^l}\frac{\mathrm{\partial }{z}_j^l}{\mathrm{\partial }{b}_j^l}=\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_j^l}={\delta }_j^l$$

方程4

代价函数关于网络中权重的改变率： 特别地，

∂C∂wljk=al−1kδlj(BP4) $$\begin{array}{}\text{(BP4)}& \frac{\mathrm{\partial }C}{\mathrm{\partial }{w}_{jk}^l}=a_k^{l-1}{\delta }_j^l\end{array}$$

这告诉我们如何计算偏导数 ∂C/∂wljk $\mathrm{\partial }C/\mathrm{\partial }{w}_{jk}^l$，其中 δl ${\delta }^l$ 和 al−1 $a^{l-1}$ 这些量我们都已经知道如何计算了。

这个公式的证明也十分简单：

∂C∂wljk=∂C∂zlj∂zlj∂wljk=al−1kδlj $$\frac{\mathrm{\partial }C}{\mathrm{\partial }{w}_{jk}^l}=\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_j^l}\frac{\mathrm{\partial }{z}_j^l}{\mathrm{\partial }{w}_{jk}^l}=a_k^{l-1}{\delta }_j^l$$

小节：四个基本公式

δL=∇aC.∗σ′(zL)(BP1) $$\begin{array}{}\text{(BP1)}& {\delta }^L={\mathrm{\nabla }}_{a}C.\ast {\sigma }^{\prime }({\mathbf{z}}^L)\end{array}$$

δl=((wl+1)Tδl+1).∗σ′(zl)(BP2) $$\begin{array}{}\text{(BP2)}& {\delta }^l=(({\mathbf{w}}^{l+1}{)}^T{\delta }^{l+1}).\ast {\sigma }^{\prime }({\mathbf{z}}^l)\end{array}$$

∂C∂blj=δlj(BP3) $$\begin{array}{}\text{(BP3)}& \frac{\mathrm{\partial }C}{\mathrm{\partial }{b}_j^l}={\delta }_j^l\end{array}$$

∂C∂wljk=al−1kδlj(BP4) $$\begin{array}{}\text{(BP4)}& \frac{\mathrm{\partial }C}{\mathrm{\partial }{w}_{jk}^l}=a_k^{l-1}{\delta }_j^l\end{array}$$