多层神经网络与反向传播算法

感知机

感知机就是咱们前面学过的线性分类器加上一个激活函数。 线性分类器:

$$v = w^Tx +b = (\sum_i w_ix_i)+b$$

不少实际问题并非线性可分的，因此须要用一个非线性函数将上述结果变为非线性的。

$$y = \varphi (v)$$
经常使用的激活函数有sigmoid 、tanh、ReLU、Softplus：

它们的函数图像分别是:

$$sigmoid(x) = \frac{1}{1+e^{-x}}$$

$$tanh(x) = \frac{e^x - e^{-x}}{e^x+e^{-x}}$$

$$ReLU(x) = max(0,x)$$

$$softplus(x) = log(1+e^{-x})$$

多层神经网络

单层感知机没法处理或模拟像异或这种函数。若是将感知机链接起来构成一个多层神经网络，则能够知足类需求。也就说说多层神经网络的模拟能力远超过单层神经网络。。

设神经网络有L+1层，每一层的输出分别为 $[h_0,h_1,h_2,h_3,...,h_L$ ，其中$h_i$ 均为增广向量。$h_0$ 为输入$\vec x$ ,h_L 为 $\vec y$。

各层的权值为 $[w_1 ,w_2 ,w_3,..., b_L]$ 和 $[b_1 ,b_2 ,b_3,..., w_L ]$ 。能够认为第0层没有权值，由于他的输出$h_0$ 就是x,或者也能够认为$w_0$ 为全一贯量。这样 $h_0 = 1\dot{} x$ .

令$\varphi_l$表示第$l$ 层的激活函数。

$$h_l = \varphi_l (w_{l-1}^Th_{l-1} + b_{l-1}) , l = 1,2,...,L$$ （式1）

偏差函数

偏差函数采用 二阶范式 即

$$L(w) = \frac{1}{2N}(y - ylabel )^T(y-ylabel)$$ （式2）
$$R(w) = \lambda \sum_{l=1}^L w_l^Tw_l +b_l$$ （式3）
$$J(w) = L(w) + R(w)$$ （式4）

各类求导

为了下面的推导方便，咱们先给出各类函数的求导结果。
sigmoid :

$$s' = s(1-s)$$ （式5）
tanh:
$$t' = 1-t^2$$ （式6）
ReLU:
$$r' = \begin{cases} 0 & \text{ if } x< 0 \\ 1 & \text{ if } x \geq 0 \end{cases}$$ （式7）
Softplus：
$$p' = sigmoid - 1$$ （式8）

线性函数

$$\partial y / \partial w = \frac{\partial }{\partial w} (w^Tx)= x$$ （式9）

$$\frac{\partial }{\partial w} (w^Tw)= w$$ （式10）

反向传播算法

为了能对这个神经网络模型进行学习，咱们一样采用梯度降低法。咱们求损失函数

$$\frac{\partial L(w)}{\partial w_l} = \frac{\partial L(w)}{\partial h_L } \dot{} \frac{\partial h_L}{\partial h_{L-1}} ... \frac{\partial h_{l+2}}{\partial h_{l+1}} \dot{} \frac{\partial h_{l+1}}{\partial h_l} \dot{} \frac{\partial h_l}{\partial w_l}$$

$$\frac{\partial L(w)}{\partial b_l} = \frac{\partial L(w)}{\partial h_L } \dot{} \frac{\partial h_L}{\partial h_{L-1}} ... \frac{\partial h_{l+2}}{\partial h_{l+1}} \dot{} \frac{\partial h_{l+1}}{\partial h_l} \dot{} \frac{\partial h_l}{\partial b_l}$$

（式11）

这个式子是怎么获得的呢？ 观察(式1）能够看出 $h_l$ 是 $h_{l-1}$ 的函数。因此运用复合函数求导法则，造成了上述公式。

咱们再计算一个L(w)对 $w_{l+1}$ 的偏导数

$$\frac{\partial L(w)}{\partial w_{l+1}} = \frac{\partial L(w)}{\partial h_L } \dot{} \frac{\partial h_L}{\partial h_{L-1}} ... \frac{\partial h_{l+2}}{\partial h_{l+1}} \dot{} \frac{\partial h_{l+1}}{\partial w_{l+1}}$$

$$\frac{\partial L(w)}{\partial b_{l+1}} = \frac{\partial L(w)}{\partial h_L } \dot{} \frac{\partial h_L}{\partial h_{L-1}} ... \frac{\partial h_{l+2}}{\partial h_{l+1}} \dot{} \frac{\partial h_{l+1}}{\partial b_{l+1}}$$
（式12）

能够分析获得如下结论:

其1、最后一项为相应层的输出$h_l$对相应 的 $w_l$ 求导, 前面的项从最后的偏差函数一直向前求导。

$$\frac{\partial L(w)}{\partial w_l} = \frac{\partial L(w)}{\partial h_l} \dot{} \frac{\partial h_l}{\partial w_l}$$
$$\frac{\partial L(w)}{\partial b_l} = \frac{\partial L(w)}{\partial h_l} \dot{} \frac{\partial h_l}{\partial b_l}$$

（式13）
其2、L(w)对$w_l$求导和 对$w_{l+1}$ 求导公式有不少相同项。令

$$\sigma_l = \frac{\partial L(w)}{\partial h_l}$$ （式14）
整理（式11）和（式12）获得
$$\sigma_l = \sigma_{l+1} \dot{} \frac{\partial h_{l+1}}{\partial h_l}$$ （式15）

对于最后一层，其输出就是整个神经网络的输出，因此不能用这个公式, 应该使用下面的公式。

$$\sigma_L = \frac{\partial L(w)}{\partial h_L }$$

这个$\sigma_l$ 称为偏差传播项，能够从高层向低层逐层计算。

那么$\partial h_{l+1}/\partial h_l$ 如何计算呢？ 根据（式1），能够获得:

$$\frac{\partial h_{l+1}}{\partial h_l} = \frac{\partial \varphi_{l+1}}{\partial v_{l+1}} \dot{} \frac{\partial v_{l+1}}{\partial h_l} = \frac{\partial \varphi_{l+1}}{\partial v} \dot{} w_{l+1}$$ （式16）
其中 $\partial \varphi_{l+1} / \partial v$ 就是 (式5） - （式10）给出的,根据这个层的激活函数选用对应的偏导数。

有了偏差L(w)对$w_l$ 的偏导数，咱们就可使用梯度降低法求更新权值了。

$$w_l = w_l - \alpha \frac{\partial L(w)}{\partial w_l}$$
$$b_l = wbl - \alpha \frac{\partial L(w)}{\partial b_l}$$

（式17）

代入（式13）和（式14），获得

$$w_l = w_l - \alpha \frac{\partial L(w)}{\partial h_l} \dot{} \frac{\partial h_l}{\partial w_l} = w_l - \sigma_l \frac{\partial h_l}{\partial \varphi_l} \dot{} \frac{\partial \varphi_l}{\partial w_l} = w_l - \sigma_l \frac{\partial h_l}{\partial \varphi_l} h_{l-1}$$

$$b_l = b_l - \alpha \frac{\partial L(w)}{\partial h_l} \dot{} \frac{\partial h_l}{\partial b_l} = w_l - \sigma_l \frac{\partial h_l}{\partial \varphi_l} \dot{} \frac{\partial \varphi_l}{\partial b_l} = w_l - \sigma_l \frac{\partial h_l}{\partial \varphi_l}$$

（式18）

程序实现思路

有了（式15）这个最核心的公式，咱们就能够将每一个层作成一个类，而后将他们串联起来就能够构造任意的多层神经网络。

matlab中没有类的概念，但有结构体，咱们定义一个结构体并定义一组方法来构成一个“类”。

应该具备的方法有：

（1）前向传播 ，根据（式1）从底向上逐层计算每层的输出，最后一层的输出即神经网络的输出 $h_l$ 。
（2）偏差后向传播。 根据（式15），从顶到底计算每一层的偏差传播项$\sigma_l$
（3）根据（式17）从底向上更新权值。

Matlab 实现