神经网络及卷积神经网络的训练——反向传播算法

神经网络的训练过程，就是经过已有的样本，求取使代价函数最小化时所对应的参数。代价函数测量的是模型对样本的预测值与其真实值之间的偏差，最小化的求解通常使用梯度降低法（Gradient Decent）或其余与梯度有关的方法。其中的步骤包括：

1. 初始化参数。
2. 求代价函数关于参数的梯度。
3. 根据梯度更新参数的值。
4. 通过迭代之后取得最佳参数，从而完成神经网络的训练。
   其中最重要的步骤就是求梯度，这能够经过反向传播算法（back propagation）来实现。

单个神经元的训练

单个神经元的结构以下图。假设一个训练样本为$(x,y)$。在下图中，$x$是输入向量，经过一个激励函数$h_{w,b}(x)$获得一个输出$a$，$a$再经过代价函数获得$J$。

$f(W,b,x)=a=sigmoid(\sum_{i}{x_iw_i+b})$ （公式1）
$J(W,b,x,y)=\frac{1}{2}\|y-h_{w,b}(x)\|^2$ （公式2）

这里激励函数以使用sigmoid为例，固然也可使用其余的好比tanh或者rectived linear unit函数。要求的参数为$W$和$b$。

经过定义变量$z=\sum_{i}{x_iw_i+b}$能够将激励函数看作是两部分，以下图右图所示。第一部分是仿射求和获得$z$, 第二部分是经过sigmoid获得$a$。

训练过程当中，要求代价函数$J$关于$W$和$b$的偏导数。先求$J$关于中间变量$a$和$z$的偏导：

$\delta^{(a)}=\frac{\partial}{\partial{a}}J(W,b,x,y)=-(y-a)$ （公式3）
$\delta^{(z)}=\frac{\partial}{\partial{z}}J(W,b,x,y)=\frac{\partial{J}}{\partial{a}}\frac{\partial{a}}{\partial{z}}=\delta^{(a)}a(1-a)$ (公式4)

公式（4）中根据sigmoid函数的定义$\sigma(z)=\frac{1}{1+e^{-z}}$可得$\frac{\partial{a}}{\partial{z}}=a(1-a)$。

再根据链导法则，能够求得$J$关于$W$和$b$的偏导数，即得$W$和$b$的梯度。

$\nabla_WJ(W,b,x,y)=\frac{\partial}{\partial{W}}J=\frac{\partial{J}}{\partial{z}}\frac{\partial{z}}{\partial{W}}=\delta^{(z)}x^T$ (公式5)

$\nabla_bJ(W,b,x,y)=\frac{\partial}{\partial{b}}J=\frac{\partial{J}}{\partial{z}}\frac{\partial{z}}{\partial{b}}=\delta^{(z)}$ (公式6)

在这个过程当中，先求$\partial{J}/\partial{a}$,进一步求$\partial{J}/\partial{z}$,最后求得$\partial{J}/\partial{W}$和$\partial{J}/\partial{b}$。结合上图及链导法则，能够看出这是一个将代价函数的增量$\partial{J}$自后向前传播的过程，所以称为反向传播（back propagation）。

多层神经网络的训练

多层网络的一个例子以下图。

假设第$l+1$层的输入和输出分别是$a_{l}$和$a_{l+1}$, 参数为$W_l$和$b_l$，仿射结果为中间变量$z_l$。注意第一层的输出$a_1=x$,为整个网络的输入，最后一层的输出$a_L$是代价函数的输入。

$z_{l+1}=W_lx^T_l+b_l$ （公式7）
$a_{l+1}=sigmoid(z_{l+1})$ （公式8）

对多层网络的训练须要求代价函数$J$对每一层的参数求偏导。后向传播过程变为：

1，第一步，根据代价函数的定义，求$J$对$a_L$的偏导$\delta^{(a)}_L$。
2，在第$l+1$层，将偏差信号从$a_{l+1}$传递到$z_{l+1}$。

$\frac{\partial{a^{(l+1)}}}{\partial{z_{(l+1)}}}=a^{(l+1)}(1-a^{(l+1)})$ (公式9)

3，第三步，将偏差信号从第$l+1$层向第$l$层传播。

$\frac{\partial{z^{(l+1)}}}{\partial{a^{(l)}}}=W^{(l)},\frac{\partial{z^{(l+1)}}}{\partial{W^{(l)}}}=a^{(l)}, \frac{\partial{z^{(l+1)}}}{\partial{b^{(l)}}}=I$ (公式10)

4, 对第$l$层可得$J$对$a^{(l)}$和$z^{(l)}$的偏导数。

$\delta^{(a)}_l=\frac{\partial{J}}{\partial{a^{(l)}}}= \begin{cases} -(y-a^{(l)}),& \text{if } l=L \\ \frac{\partial{J}}{\partial{z^{(l+1)}}}\frac{\partial{z^{(l+1)}}}{\partial{a^{(l)}}}=(W^{(l)})^T\delta^{(z)}_{l+1}, & \text{otherwise} \end{cases}$ (公式11)

$\delta^{(z)}_l=\frac{\partial{J}}{\partial{z^{(l)}}}=\frac{\partial{J}}{\partial{a^{(l)}}}\frac{\partial{a^{(l)}}}{\partial{z^{(l)}}}=\delta^{(a)}_la^{(l)}(1-a^{(l)})$ (公式12)

5, 最后可得$J$对第$l$层的参数$W_l$和$b_l$的梯度：

$\nabla_{W^{(l)}}J(W,b,x,y)=\frac{\partial}{\partial{W^{(l)}}}J=\frac{\partial{J}}{\partial{z^{(l+1)}}}\frac{\partial{z^{(l+1)}}}{\partial{W^{(l)}}}=\delta^{(z)}_{l+1}(a^{(l)})^T$ (公式13)

$\nabla_{b^{(l)}}J(W,b,x,y)=\frac{\partial}{\partial{b^{(l)}}}J=\frac{\partial{J}}{\partial{z^{(l+1)}}}\frac{\partial{z^{(l+1)}}}{\partial{b^{(l)}}}=\delta^{(z)}_{l+1}$ (公式14)

后向传播的通常形式

1，将整个神经网络加上代价函数的结构看作是一串函数（每一层对应一个函数）级联而成的一个函数，其中的每个函数的导数均可经过数学表达式解析求得：

$h_\theta(x)=(f^{(L+1)}\circ...\circ f^{(l)}_{\theta^l}\circ...\circ f^{(2)}_{\theta^2}f^{(1)})(x)$ (公式15)

其中$\theta$是该神经网络的参数。$f^{(1)}=x$, $f^{(L+1)}=h_\theta(x)$,而且对任何一个$l$，相邻两层间函数的导数$\frac{\partial{f^{(l+1)}}}{\partial{f^{(l)}}}$都是已知的。

2，根据链导法则，求代价函数对任何一个$l$层$J$关于$f^{(l)}$的导数，即经过数值计算将偏差信号后向传递到第$l$层。

$\delta_l=\frac{\partial}{\partial{f^{(l)}}}J(\theta,x,y)=\frac{\partial J}{\partial{f^{(l+1)}}}\frac{\partial f^{(l+1)}}{\partial{f^{(l)}}}=\delta_{l+1}\frac{\partial f^{(l+1)}}{\partial{f^{(l)}}}$ （公式16）

3，在第$l$层求$J$关于该层参数$\theta^{(l)}$的梯度。

$\nabla_{\theta^{(l)}}J(\theta,x,y)=\frac{\partial}{\partial \theta^{(l)}}J=\frac{\partial J}{\partial f^{(l)}}\frac{\partial f^{(l)}}{\partial \theta^{(l)}}=\delta_l\frac{\partial f^{(l)}}{\partial \theta^{(l)}}$。（公式17）

其中第$l$层对应的函数关于该层的参数的导数$\frac{\partial f^{(l)}}{\partial \theta^{(l)}}$是已知的。

4，将全部样本的梯度相加获得总梯度。

$\nabla_{\theta^{(l)}}J(\theta)=\sum_{i=1}^{m}\nabla_{\theta^{(l)}}J(\theta,x^{(i)},y^{(i)})$ (公式17)

对于不一样的网络结构，在第2步和第3步中根据具体的$\frac{\partial{f^{(l+1)}}}{\partial{f^{(l)}}}$和$\frac{\partial f^{(l)}}{\partial \theta^{(l)}}$就能够求得全部参数的梯度。

卷积神经网络的训练

卷积神经网络（CNN）的结构可阅读上一篇博文。CNN的基本层包括卷积层和池化层，两者一般一块儿使用，一个池化层紧跟一个卷积层以后。这两层包括三个级联的函数：卷积，求sigmoid函数（或使用其余激励函数），池化。其前向传播和后向传播的示意图以下：

后向传播须要求得这三个函数的导数。sigmoid函数前面已经讨论过，这里讲一讲其余两个函数的处理：

卷积函数的导数及后向传播

假设一个卷积层的输入向量是$x$，输出向量是$y$, 参数向量（卷积算子）是$w$。从输入到输出的过程为：

$y=x\ast w$（公式18）

$y$的长度为$|y|=|x|-|w|+1$。$y$中每个元素的计算方法为：

$y_n=(x\ast w)[n]=\sum_{i=1}^{|w|}x_{n+i-1}w_i=w^Tx_{n:n+|w|-1}$ (公式19)

卷积过程的示意图以下：

$y$中的元素与$x$中的元素有以下导数关系：

$\frac{\partial y_{n-i+1}}{\partial x_n}=w_i$, $\frac{\partial y_n}{\partial w_i}=x_{n-i+1}, \text{for} 1\leq i \leq |w|.$ （公式20）

进一步能够获得$J$关于$w$和$x$的导数：

$\delta_n^{(x)}=\frac{\partial J}{\partial y}\frac{\partial y}{\partial x_n}=\sum_{i=1}^{|w|}\frac{\partial J}{\partial y_{n-i+1}}\frac{\partial y_{n-i+1}}{\partial x_n}=\sum_{i=1}^{|w|}\delta_{n-i+1}^{(y)}w_i=(\delta^{(y)}*\text{flip}(w))[n]$ （公式21）

$\delta^{(x)}=\delta^{(y)}*\text{flip}(w)$ （公式22）

$\frac{\partial}{\partial w_i}J=\frac{\partial J}{\partial y}\frac{\partial y}{\partial w_i}=\sum_{n=1}^{|x|-|w|+1}\frac{\partial J}{\partial y_{n}}\frac{\partial y_{n}}{\partial w_i}=\sum_{n=1}^{|x|-|w|+1}\delta_{n}^{(y)}x_{n+i-1}=(\delta^{(y)}*x)[i]$ （公式23）

$\frac{\partial}{\partial w}J=\delta^{(y)}*x$ （公式24）

所以，经过$\delta^{(y)}$与flip($w$)的卷积就可获得$J$关于$x$的导数$\delta^{(x)}$，经过$\delta^{(y)}$与$x$的卷积就可计算出$w$的梯度$\frac{\partial}{\partial w}J$。

池化函数的导数及后向传播

池化函数是一个下采样函数，对于大小为$m$的池化区域，池化函数及其导数能够定义为：
均值池化: $g(x)=\frac{\sum_{k=1}^{m}x_k}m$, 导数为 $\frac{\partial g}{\partial x_i}= \begin{cases} 1& \text{if } x_i=max(x) \\ 0 &\text{otherwise} \end{cases}$

p范数池化 $g(x)=\|x\|_p=(\sum_{k=1}^{m}|x_k|^p)^{1/p}$, 导数为$\frac{\partial g}{\partial x_i}=(\sum_{k=1}^{m}|x_k|^p)^{1/p-1}|x_i|^{p-1}$

下采样的后向传播过程为上采样，其示意图为：

该后向传播过程就是利用$g$的导数将偏差信号传递到$g$的输入。

$\delta^{(x)}_{(n-1)m+1:nm}=\frac{\partial}{\partial x_{(n-1)m+1:nm}}J=\frac{\partial J}{\partial y_n}\frac{\partial y_n}{\partial x_{(n-1)m+1:nm}}=\delta^{(y)}_ng'_n$ (公式25)

$\delta^{(x)}=upsample(\delta^{(y)},g')=[\delta^{(x)}_{(n-1)m+1:nm}]$. （公式26）

有了上述求导公式，就可以将偏差信号传递到每一层的输出，再经过每一层的函数对参数的导数，可求得参数的梯度。有了计算梯度的方法，再经过基于梯度的最优化，就能寻得最优值，完成训练过程。

PPT及参考资料：
1，http://www.slideshare.net/kuwajima/cnnbp
2，http://ufldl.stanford.edu/tutorial/