吴恩达机器学习：神经网络 | 反向传播算法

上一周我们学习了 神经网络 | 多分类问题。我们分别使用 逻辑回归 和 神经网络 来解决多分类问题，并了解到在特征数非常多的情况下，神经网络是更为有效的方法。这周的课程会给出训练 神经网络 所使用的 代价函数，并使用 反向传播 算法来计算梯度。笔者会给出 反向传播 算法中重要的思路和推导，但不会包含所有的计算步骤。

点击 课程视频 你就能不间断地学习 Ng 的课程，关于课程作业的 Python 代码已经放到了 Github 上，点击 课程代码 就能去 Github 查看（ 无法访问 Github 的话可以点击 Coding 查看 ），代码中的错误和改进欢迎大家指出。

以下是 Ng 机器学习课程第四周的笔记。

代价函数

假设我们的多分类问题有 K $K$ 个分类，神经网络共有 L $L$ 层，每一层的神经元个数为 sl $s_l$，那么神经网络的 代价函数 为：

J(Θ)=−1m∑i=1m∑k=1K(y(i)klog(hΘ(x(i)))k+(1−y(i)k)log(1−(hΘ(x(i)))k))+λ2m∑l=1L−1∑i=1sl∑j=1sl+1(Θ(l)ji)2 $$\begin{gathered} J(\mathrm{\Theta })=-\frac{1}{m}\underset{i=1}{\overset{m}{\sum }}\underset{k=1}{\overset{K}{\sum }}(y_k^{(i)}log(h_{\mathrm{\Theta }}(x^{(i)}){)}_k+(1-y_k^{(i)})log(1-(h_{\mathrm{\Theta }}(x^{(i)}){)}_k)) \\ +\frac{\lambda }{2m}\underset{l=1}{\overset{L-1}{\sum }}\underset{i=1}{\overset{s_l}{\sum }}\underset{j=1}{\overset{s_{l+1}}{\sum }}({\mathrm{\Theta }}_{ji}^{(l)}{)}^2 \end{gathered}$$

其中的第二项为 正则化 项，是网络中所有权值的平方和。第一项与逻辑回归中的 代价函数 类似，但这里我们需要累加所有输出神经元的误差。

梯度计算

为了能够使用 梯度下降 算法来训练网络，我们需要计算代价函数的梯度。一种很直观的方法就是使用数值计算，对于某个 Θij ${\mathrm{\Theta }}_{ij}$，给它加上减去一个很小的量 ϵ $ϵ$ 来计算梯度：

∂J(θ)∂θj≈J(θ1,⋯,θj+ϵ,⋯,θn)−J(θ1,⋯,θj−ϵ,⋯,θn)2ϵ $$\frac{\mathrm{\partial }J(\theta )}{\mathrm{\partial }{\theta }_j}\approx \frac{J({\theta }_1,\cdots ,{\theta }_j+ϵ,\cdots ,{\theta }_n)-J({\theta }_1,\cdots ,{\theta }_j-ϵ,\cdots ,{\theta }_n)}{2ϵ}$$

但稍微分析一下算法的复杂度就能知道，这样的方法十分缓慢。对于每一组数据，我们需要计算所有权值的梯度，总的计算次数 = 训练数据个数 x 网络权值个数 x 前向传播计算次数 。在通常情况下这样的复杂度是无法接受的，所以我们仅使用这个方法来验证 反向传播 算法计算的梯度是否正确。

链式法则

为了能够理解之后对于 反向传播 公式的推导，我们首先要了解一个关于多元复合函数求导的 链式法则。对于多元函数 z=f(u,v) $z=f(u,v)$，其中 u=h(x,y) $u=h(x,y)$， v=g(x,y) $v=g(x,y)$，那么：

∂z∂x=∂z∂u∂u∂x+∂z∂v∂v∂x∂z∂y=∂z∂u∂u∂y+∂z∂v∂v∂y $$\begin{gathered} \frac{\mathrm{\partial }z}{\mathrm{\partial }x}=\frac{\mathrm{\partial }z}{\mathrm{\partial }u}\frac{\mathrm{\partial }u}{\mathrm{\partial }x}+\frac{\mathrm{\partial }z}{\mathrm{\partial }v}\frac{\mathrm{\partial }v}{\mathrm{\partial }x} \\ \frac{\mathrm{\partial }z}{\mathrm{\partial }y}=\frac{\mathrm{\partial }z}{\mathrm{\partial }u}\frac{\mathrm{\partial }u}{\mathrm{\partial }y}+\frac{\mathrm{\partial }z}{\mathrm{\partial }v}\frac{\mathrm{\partial }v}{\mathrm{\partial }y} \end{gathered}$$

链式法则 告诉我们有多个层次的多元复合函数，下一层次的导数可以由上一层次推得。

上图中笔者有意多加了一层，这里 p $p$ 是 u,v $u,v$ 的函数， q $q$ 是 u,v $u,v$ 的函数， z $z$ 是 p,q $p,q$ 的函数。对于要计算的 ∂z∂x $\frac{\mathrm{\partial }z}{\mathrm{\partial }x}$ 与 ∂z∂y $\frac{\mathrm{\partial }z}{\mathrm{\partial }y}$，上式仍成立，原因是我们可以把 z $z$ 看作 u,v $u,v$ 的函数。这相当于我们把：

∂z∂x=∂z∂p∂p∂u∂u∂x+∂z∂p∂p∂v∂v∂x+∂z∂q∂q∂u∂u∂x+∂z∂q∂q∂v∂v∂x $$\frac{\mathrm{\partial }z}{\mathrm{\partial }x}=\frac{\mathrm{\partial }z}{\mathrm{\partial }p}\frac{\mathrm{\partial }p}{\mathrm{\partial }u}\frac{\mathrm{\partial }u}{\mathrm{\partial }x}+\frac{\mathrm{\partial }z}{\mathrm{\partial }p}\frac{\mathrm{\partial }p}{\mathrm{\partial }v}\frac{\mathrm{\partial }v}{\mathrm{\partial }x}+\frac{\mathrm{\partial }z}{\mathrm{\partial }q}\frac{\mathrm{\partial }q}{\mathrm{\partial }u}\frac{\mathrm{\partial }u}{\mathrm{\partial }x}+\frac{\mathrm{\partial }z}{\mathrm{\partial }q}\frac{\mathrm{\partial }q}{\mathrm{\partial }v}\frac{\mathrm{\partial }v}{\mathrm{\partial }x}$$

简化为了只与上一层相关，利用上一层计算完成的结果 ∂z∂u $\frac{\mathrm{\partial }z}{\mathrm{\partial }u}$ 和 ∂z∂v $\frac{\mathrm{\partial }z}{\mathrm{\partial }v}$ 而不用从头算起：

∂z∂x=∂z∂u∂u∂x+∂z∂v∂v∂x $$\frac{\mathrm{\partial }z}{\mathrm{\partial }x}=\frac{\mathrm{\partial }z}{\mathrm{\partial }u}\frac{\mathrm{\partial }u}{\mathrm{\partial }x}+\frac{\mathrm{\partial }z}{\mathrm{\partial }v}\frac{\mathrm{\partial }v}{\mathrm{\partial }x}$$

一般的，对于函数 y $y$，如果它能看做 z1,z2⋯,zn $z_1,z_2\cdots ,z_n$ 的函数，而 zi $z_i$ 为 t $t$ 的函数，则：

∂y∂t