深度学习（一）：DNN前向传播算法和反向传播算法

时间  2019-12-07 标签 深度 学习 dnn 传播 算法 反向

文章目录

1、深度神经网络（DNN）模型

深度神经网络（Deep Neural Networks， 如下简称DNN）是深度学习的基础，而要理解DNN，首先咱们要理解DNN模型，下面咱们就对DNN的模型与前向传播算法作一个总结。html

1.1 从感知机到神经网络

感知机的模型你们都比较熟悉，它是一个有若干输入和一个输出的模型，以下图:web

CSDN图标

输出和输入之间学习到一个线性关系，获得中间输出结果：
z = ∑ i = 1 m w i x i + b z=\sum\limits_{i=1}^mw_ix_i + b 算法

接着是一个神经元激活函数:
s i g n ( z ) = { − 1 z < 0 1 z ≥ 0 sign(z)= \begin{cases} -1& {z<0}\\ 1& {z\geq 0} \end{cases} 网络

从而获得咱们想要的输出结果1或者-1。app

这个模型只能用于二元分类，且没法学习比较复杂的非线性模型，所以在工业界没法使用。机器学习

而神经网络则在感知机的模型上作了扩展，总结下主要有三点：ide

1）加入了隐藏层，隐藏层能够有多层，加强模型的表达能力，以下图实例，固然增长了这么多隐藏层模型的复杂度也增长了好多。svg

CSDN图标

2）输出层的神经元也能够不止一个输出，能够有多个输出，这样模型能够灵活的应用于分类回归，以及其余的机器学习领域好比降维和聚类等。多个神经元输出的输出层对应的一个实例以下图，输出层如今有4个神经元了。函数

CSDN图标

3） 对激活函数作扩展，感知机的激活函数是 s i g n ( z ) sign(z) ，虽然简单可是处理能力有限，所以神经网络中通常使用的其余的激活函数，好比咱们在逻辑回归里面使用过的Sigmoid函数，即：
f ( z ) = 1 1 + e − z f(z)=\frac{1}{1+e^{-z}} 布局

还有后来出现的tanx, softmax,和ReLU等。经过使用不一样的激活函数，神经网络的表达能力进一步加强。对于各类经常使用的激活函数，我随后会整理一份资料。

1.2 DNN的基本结构

上一节咱们了解了神经网络基于感知机的扩展，而DNN能够理解为有不少隐藏层的神经网络。这个不少其实也没有什么度量标准, 多层神经网络和深度神经网络DNN其实也是指的一个东西，固然，DNN有时也叫作多层感知机（Multi-Layer perceptron,MLP）, 名字实在是多。后面咱们讲到的神经网络都默认为DNN。

从DNN按不一样层的位置划分，DNN内部的神经网络层能够分为三类，输入层，隐藏层和输出层，以下图示例，通常来讲第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。

CSDN图标

层与层之间是全链接的，也就是说，第 i i 层的任意一个神经元必定与第 i + 1 i+1 层的任意一个神经元相连。虽然DNN看起来很复杂，可是从小的局部模型来讲，仍是和感知机同样，即一个线性关系 z = ∑ w i x i + b z=\sum\limits w_ix_i + b 加上一个激活函数 σ ( z ) \sigma(z) 。

因为DNN层数多，则咱们的线性关系系数 w w 和偏倚 b b 的数量也就是不少了。具体的参数在DNN是如何定义的呢？

首先咱们来看看线性关系系数 w w 的定义。如下图一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为 w 24 3 w_{24}^3 。上标3表明线性系数 w w 所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。你也许会问，为何不是 w 42 3 w_{42}^3 , 而是 w 24 3 w_{24}^3 呢？这主要是为了便于模型用于矩阵表示运算，若是是 w 42 3 w_{42}^3 每次进行矩阵运算是 w T x + b w^Tx+b ，须要进行转置。将输出的索引放在前面的话，则线性运算不用转置，即直接为 w x + b wx+b 。总结下，第 l − 1 l−1 层的第 k k 个神经元到第 l l 层的第 j j 个神经元的线性系数定义为 w j k l w_{jk}^l 。注意，输入层是没有 w w 参数的。

CSDN图标

再来看看偏倚 b b 的定义。仍是以这个三层的DNN为例，第二层的第3个神经元对应的偏倚定义为 b 3 2 b_3^{2} 。其中，上标2表明所在的层数，下标3表明偏倚所在的神经元的索引。输入层是没有偏倚参数 b b 的。

一样的道理，对于神经元的激活值而言，第3层的第1个神经元的激活值应该表示为 a 1 3 a_1^{3} 。

CSDN图标

2、DNN前向传播算法

2.1 DNN前向传播算法数学原理

在上一节，咱们已经介绍了DNN各层线性关系系数 w w 和偏倚 b b 的定义。假设咱们选择的激活函数是 σ ( z ) \sigma(z) ，隐藏层和输出层的输出值为 a a ，则对于下图的三层DNN，利用和感知机同样的思路，咱们能够利用上一层的输出计算下一层的输出，也就是所谓的DNN前向传播算法。

对于第二层的的输出 a 1 2 , a 2 2 , a 3 2 a_1^2,a_2^2,a_3^2 ，咱们有：
a 1 2 = σ ( z 1 2 ) = σ ( w 11 2 x 1 + w 12 2 x 2 + w 13 2 x 3 + b 1 2 ) a_1^2=\sigma(z_1^2) = \sigma(w_{11}^2x_1 + w_{12}^2x_2 + w_{13}^2x_3 + b_1^{2})

a 2 2 = σ ( z 2 2 ) = σ ( w 21 2 x 1 + w 22 2 x 2 + w 23 2 x 3 + b 2 2 ) a_2^2=\sigma(z_2^2) = \sigma(w_{21}^2x_1 + w_{22}^2x_2 + w_{23}^2x_3 + b_2^{2})

a 3 2 = σ ( z 3 2 ) = σ ( w 31 2 x 1 + w 32 2 x 2 + w 33 2 x 3 + b 3 2 ) a_3^2=\sigma(z_3^2) = \sigma(w_{31}^2x_1 + w_{32}^2x_2 + w_{33}^2x_3 + b_3^{2})

对于第三层的的输出 a 1 3 a_1^3 ，咱们有：
a 1 3 = σ ( z 1 3 ) = σ ( w 11 3 a 1 2 + w 12 3 a 2 2 + w 13 3 a 3 2 + b 1 3 ) a_1^3=\sigma(z_1^3) = \sigma(w_{11}^3a_1^2 + w_{12}^3a_2^2 + w_{13}^3a_3^2 + b_1^{3})

将上面的例子通常化，假设第 l − 1 l−1 层共有 m m 个神经元，则对于第 l l 层的第 j j 个神经元的输出 a j l a_j^l ，咱们有：
a j l = σ ( z j l ) = σ ( ∑ k = 1 m w j k l a k l − 1 + b j l ) a_j^l = \sigma(z_j^l) = \sigma(\sum\limits_{k=1}^mw_{jk}^la_k^{l-1} + b_j^l)

其中，若是 l = 2 l=2 ，则对于的 a k 1 a_k^1 即为输入层的 x k x_k 。

从上面能够看出，使用代数法一个个的表示输出比较复杂，而若是使用矩阵法则比较的简洁。假设第 l − 1 l−1 层共有 m m 个神经元，而第 l l 层共有 n n 个神经元，则第 l l 层的线性系数 w w 组成了一个 n × m n×m 的矩阵 W l W^l , 第 l l 层的偏倚 b b 组成了一个 n × 1 n×1 的向量 b l b^l , 第 l − 1 l−1 层的输出 a a 组成了一个 m × 1 m×1 的向量 a l − 1 a^{l−1} ，第 l l 层的未激活前线性输出 z z 组成了一个 n × 1 n×1 的向量 z l z^l , 第 l l 层的的输出 a a 组成了一个 n × 1 n×1 的向量 a l a^l 。则用矩阵法表示，第 l l 层的输出为：
a l = σ ( z l ) = σ ( W l a l − 1 + b l ) a^l = \sigma(z^l) = \sigma(W^la^{l-1} + b^l)

这个表示方法简洁漂亮，后面咱们的讨论都会基于上面的这个矩阵法表示来。因此，应该时刻记住咱们符号的含义，不然在后面推导反向传播公式时会比较懵。

2.2 DNN前向传播算法

有了上一节的数学推导，DNN的前向传播算法也就不难了。所谓的DNN的前向传播算法也就是利用咱们的若干个权重系数矩阵 W W 和偏倚向量 b b 来和输入值向量 x x 进行一系列线性运算和激活运算，从输入层开始，一层层的向后计算，一直到运算到输出层，获得输出结果为止 。

输入: 总层数 L L ，全部隐藏层和输出层对应的矩阵 W W ，偏倚向量 b b ，输入值向量 x x
输出：输出层的输出 a L a^L

  • 1） 初始化 a 1 = x a^1=x

  • 2） for l = 2 l=2 to L L , 计算：

a l = σ ( z l ) = σ ( W l a l − 1 + b l ) a^l = \sigma(z^l) = \sigma(W^la^{l-1} + b^l)

最后的结果即为输出 a L a^L 。

2.3 DNN前向传播算法小结

单独看DNN前向传播算法，彷佛没有什么大用处，并且这一大堆的矩阵 W W ,偏倚向量 b b 对应的参数怎么得到呢？怎么获得最优的矩阵 W W ,偏倚向量 b b 呢？这个咱们在下一章讲DNN的反向传播算法时再讲。而理解反向传播算法的前提就是理解DNN的模型与前向传播算法。这也是咱们先讲前向传播算法的缘由。

3、DNN反向传播算法

3.1 DNN反向传播算法要解决的问题

在了解DNN的反向传播算法（Back Propagation，BP）前，咱们先要知道DNN反向传播算法要解决的问题，也就是说，何时咱们须要这个反向传播算法？

回到咱们监督学习的通常问题，假设咱们有 m m 个训练样本： { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } \{(x_1,y_1), (x_2,y_2), ..., (x_m,y_m)\} ，其中 x x 为输入向量，特征维度为 n i n n_{in} ，而 y y 为输出向量，特征维度为 n o u t n_{out} 。咱们须要利用这 m m 个样本训练出一个模型，当有一个新的测试样本 ( x t e s t , ? ) (x_{test},?) 来到时, 咱们能够预测 y t e s t y_{test} 向量的输出。

若是咱们采用DNN的模型，即咱们使输入层有 n i n n_{in} 个神经元，而输出层有 n o u t n_{out} 个神经元。再加上一些含有若干神经元的隐藏层。此时咱们须要找到合适的全部隐藏层和输出层对应的线性系数矩阵 W W 和偏倚向量 b b ，让全部的训练样本输入计算出的输出尽量的等于或很接近样本输出。怎么找到合适的参数呢？

若是你们对传统的机器学习的算法优化过程熟悉的话，这里就很容易联想到咱们能够用一个合适的损失函数来度量训练样本的输出损失，接着对这个损失函数进行优化求最小化的极值，对应的一系列线性系数矩阵 W W 和偏倚向量 b b 即为咱们的最终结果。在DNN中，损失函数优化极值求解的过程最多见的通常是经过梯度降低法来一步步迭代完成的，固然也能够是其余的迭代方法好比牛顿法与拟牛顿法。

对DNN的损失函数用梯度降低法进行迭代优化求极小值的过程即为咱们的反向传播算法。

3.2 DNN反向传播算法的基本思路

在进行DNN反向传播算法前，咱们须要选择一个损失函数，来度量训练样本计算出的输出和真实的训练样本输出之间的损失。你也许会问：训练样本计算出的输出是怎么得来的？这个输出是随机选择一系列 W , b W,b ，用前向传播算法计算出来的。即经过一系列的计算： a l = σ ( z l ) = σ ( W l a l − 1 + b l ) a^l = \sigma(z^l) = \sigma(W^la^{l-1} + b^l) 。计算到输出层第 L L 层对应的 a L a^L 即为前向传播算法计算出来的输出。

回到损失函数，DNN可选择的损失函数有很多，为了专一算法，这里咱们使用最多见的均方差来度量损失。固然，针对不一样的任务，能够选择不一样的损失函数。即对于每一个样本，咱们指望最小化下式：
J ( W , b , x , y ) = 1 2 ∣ ∣ a L − y ∣ ∣ 2 2 J(W,b,x,y) = \frac{1}{2}||a^L-y||_2^2

其中， a L a^L 和 y y 为特征维度为 n o u t n_{out} 的向量，而 ∣ ∣ S ∣ ∣ 2 ||S||_2 为 S S 的L2范数。

损失函数有了，如今咱们开始用梯度降低法迭代求解每一层的 W , b W,b 。

注：如下是BP算法推导的过程，是本文最核心，也是神经网络最基本的公式推导。

思路第一步：
首先是输出层第 L L 层。注意到输出层的 W , b W,b 知足下式：
a L = σ ( z L ) = σ ( W L a L − 1 + b L ) (1) a^L = \sigma(z^L) = \sigma(W^La^{L-1} + b^L) \qquad \text{(1)}

这样对于输出层的参数，咱们的损失函数变为：
J ( W , b , x , y ) = 1 2 ∣ ∣ a L − y ∣ ∣ 2 2 = 1 2 ∣ ∣ σ ( W L a L − 1 + b L ) − y ∣ ∣ 2 2 (2) J(W,b,x,y) = \frac{1}{2}||a^L-y||_2^2 = \frac{1}{2}|| \sigma(W^La^{L-1} + b^L)-y||_2^2 \qquad \text{(2)}

这样求解 W , b W,b 的梯度就简单了：
∂ J ( W , b , x , y ) ∂ W L = ∂ J ( W , b , x , y ) ∂ z L ∂ z L ∂ W L = ∂ J ( W , b , x , y ) ∂ a L ∂ a L ∂ z L ∂ z L ∂ W L = ( a L − y ) ⊙ σ ′ ( z L ) ( a L − 1 ) T (3) \frac{\partial J(W,b,x,y)}{\partial W^L} = \frac{\partial J(W,b,x,y)}{\partial z^L}\frac{\partial z^L}{\partial W^L} =\frac{\partial J(W,b,x,y)}{\partial a^L}\frac{\partial a^L}{\partial z^L}\frac{\partial z^L}{\partial W^L} =(a^L-y) \odot \sigma^{'}(z^L)(a^{L-1})^T\qquad \text{(3)}

∂ J ( W , b , x , y ) ∂ b L = ∂ J ( W , b , x , y ) ∂ z L ∂ z L ∂ b L = ∂ J ( W , b , x , y ) ∂ a L ∂ a L ∂ z L ∂ z L ∂ b L = ( a L − y ) ⊙ σ ′ ( z L ) (4) \frac{\partial J(W,b,x,y)}{\partial b^L} = \frac{\partial J(W,b,x,y)}{\partial z^L}\frac{\partial z^L}{\partial b^L} =\frac{\partial J(W,b,x,y)}{\partial a^L}\frac{\partial a^L}{\partial z^L}\frac{\partial z^L}{\partial b^L}=(a^L-y)\odot \sigma^{'}(z^L)\qquad \text{(4)}

注意上式中有一个符号 ⊙ \odot ,它表明Hadamard积，对于两个维度相同的向量 A （ a 1 , a 2 , . . . a n ） T A（a_1,a_2,...a_n）^T 和 B （ b 1 , b 2 , . . . b n ） T B（b_1,b_2,...b_n）^T ，则 A ⊙ B = ( a 1 b 1 , a 2 b 2 , . . . a n b n ) T A \odot B = (a_1b_1, a_2b_2,...a_nb_n)^T 。

对于公式（3）和（4），我在这里多解释一下为何是这样：

对于公式（3）：前两项之因此是Hadamard积的形式，是由于 ∂ J ( W , b , x , y ) ∂ a L ∂ a L ∂ z L \frac{\partial J(W,b,x,y)}{\partial a^L}\frac{\partial a^L}{\partial z^L} 都是针对同一层的神经元。若是咱们考虑对于 L L 层的第 j j 个神经元，即 ∂ J ( W , b , x , y ) ∂ a j L σ ′ ( z j L ) \frac{\partial J(W,b,x,y)}{\partial a_j^L}\sigma^{'}(z_j^L) ，那么整合这一层的神经元，天然是 ( a L − y ) ⊙ σ ′ ( z L ) (a^L-y) \odot \sigma^{'}(z^L) 这样Hadamard积的形式。那么 ( a L − 1 ) T (a^{L-1})^T 为何在（3）中的最后呢？这涉及到矩阵求导的知识，不是咱们本文的重点。在这里，用到的知识是：若是
Y = W X + B Y=WX+B

那么
∂ C ∂ W = ∂ C ∂ Y X T \frac{\partial C}{\partial W}=\frac{\partial C}{\partial Y}X^T

这样，便可推出公式（3）。公式（4）与公式（3）相似。

思路第二步：
咱们注意到在求解输出层的 W , b W,b 的时候，有公共的部分 ∂ J ( W , b , x , y ) ∂ z L \frac{\partial J(W,b,x,y)}{\partial z^L} ，所以咱们能够把公共的部分即对 z L z^L 先算出来，记为：
δ L = ∂ J ( W , b , x , y ) ∂ z L = ( a L − y ) ⊙ σ ′ ( z L ) (5) \delta^L = \frac{\partial J(W,b,x,y)}{\partial z^L} = (a^L-y)\odot \sigma^{'}(z^L) \qquad \text{(5)}

根据公式（3）（4），咱们能够把输出层的梯度算出来，那么如何计算上一层 L − 1 L−1 层的梯度，上上层 L − 2 L−2 层的梯度呢？这里咱们须要一步步的递推，注意到对于第 l l 层的未激活输出 z l z^l ，它的梯度能够表示为:
δ l = ∂ J ( W , b , x , y ) ∂ z l = ∂ J ( W , b , x , y ) ∂ z L ∂ z L ∂ z L − 1 ∂ z L − 1 ∂ z L − 2 . . . ∂ z l + 1 ∂ z l (6) \delta^l =\frac{\partial J(W,b,x,y)}{\partial z^l} = \frac{\partial J(W,b,x,y)}{\partial z^L}\frac{\partial z^L}{\partial z^{L-1}}\frac{\partial z^{L-1}}{\partial z^{L-2}}...\frac{\partial z^{l+1}}{\partial z^{l}}\qquad \text{(6)}

若是咱们能够依次计算出第 l l 层的 δ l \delta^l ,则该层的 W l , b l W^l,b^l 很容易计算？为何呢？注意到根据前向传播算法，咱们有：
z l = W l a l − 1 + b l (7) z^l= W^la^{l-1} + b^l\qquad \text{(7)}

因此根据上式咱们能够很方便的计算出第 l l 层的 W l , b l W_l,b_l 的梯度以下：
∂ J ( W , b , x , y ) ∂ W l = ∂ J ( W , b , x , y ) ∂ z l ∂ z l ∂ W l = δ l ( a l − 1 ) T (8) \frac{\partial J(W,b,x,y)}{\partial W^l} = \frac{\partial J(W,b,x,y)}{\partial z^l} \frac{\partial z^l}{\partial W^l} = \delta^{l}(a^{l-1})^T\qquad \text{(8)}

∂ J ( W , b , x , y ) ∂ b l = ∂ J ( W , b , x , y ) ∂ z l ∂ z l ∂ b l = δ l (9) \frac{\partial J(W,b,x,y)}{\partial b^l} = \frac{\partial J(W,b,x,y)}{\partial z^l} \frac{\partial z^l}{\partial b^l} = \delta^{l}\qquad \text{(9)}

思路第三步：
那么如今问题的关键就是要求出 δ l \delta^l 了。这里咱们用数学概括法，第 L L 层的 δ L \delta^L 上面咱们已经求出， 假设第 l + 1 l+1 层的 δ l + 1 \delta^{l+1} 已经求出来了，那么咱们如何求出第 l l 层的 δ l \delta^l 呢？咱们注意到：
δ l = ∂ J ( W , b , x , y ) ∂ z l = ∂ J ( W , b , x , y ) ∂ z l + 1 ∂ z l + 1 ∂ z l = δ l + 1 ∂ z l + 1 ∂ z l (10) \delta^{l} = \frac{\partial J(W,b,x,y)}{\partial z^l} = \frac{\partial J(W,b,x,y)}{\partial z^{l+1}}\frac{\partial z^{l+1}}{\partial z^{l}} = \delta^{l+1}\frac{\partial z^{l+1}}{\partial z^{l}}\qquad \text{(10)}

可见，用概括法递推 δ l + 1 \delta^{l+1} 和 δ l \delta^l 的关键在于求解 ∂ z l + 1 ∂ z l \frac{\partial z^{l+1}}{\partial z^{l}} 。

而 z l + 1 z^{l+1} 和 z l z^l 的关系其实很容易找出：
z l + 1 = W l + 1 a l + b l + 1 = W l + 1 σ ( z l ) + b l + 1 (11) z^{l+1}= W^{l+1}a^{l} + b^{l+1} = W^{l+1}\sigma(z^l) + b^{l+1} \qquad \text{(11)}

这样很容易求出：
∂ z l + 1 ∂ z l = ( W l + 1 ) T ⊙ ( σ ′ ( z l ) , . . , σ ′ ( z l ) ) ⎵ n l + 1 (12) \frac{\partial z^{l+1}}{\partial z^{l}} = (W^{l+1})^T\odot \underbrace{(\sigma^{'}(z^l),..,\sigma^{'}(z^l))}_{n_{l+1}}\qquad \text{(12)}

公式（12）的意思就是 ( W l + 1 ) T (W^{l+1})^T 的每一列都Hadamard积 σ ′ ( z l ) \sigma^{'}(z^l) 。

将公式（12）代入公式（10）咱们获得：
δ l = δ l + 1 ∂ z l + 1 ∂ z l = ( ( W l + 1 ) T δ l + 1 ) ⊙ σ ′ ( z l ) (13) \delta^{l} = \delta^{l+1}\frac{\partial z^{l+1}}{\partial z^{l}} =( (W^{l+1})^T\delta^{l+1})\odot \sigma^{'}(z^l)\qquad \text{(13)}

公式（13）的推导过程为：
δ l + 1 ∂ z l + 1 ∂ z l = ∂ ( δ l + 1 ) T z l + 1 ∂ z l = ∂ ( δ l + 1 ) T ( W l + 1 σ ( z l ) + b l + 1 ) ∂ z l = ∂ ( δ l + 1 ) T W l + 1 σ ( z l ) ∂ z l = ( ( δ l + 1 ) T W l + 1 ) T ⊙ σ ′ ( z l ) = = ( ( W l + 1 ) T δ l + 1 ) ⊙ σ ′ ( z l ) \delta^{l+1}\frac{\partial z^{l+1}}{\partial z^{l}} =\frac{\partial (\delta^{l+1})^T z^{l+1}}{\partial z^{l}} = \frac{\partial (\delta^{l+1})^T (W^{l+1}\sigma(z^l) + b^{l+1})}{\partial z^{l}} = \frac{\partial (\delta^{l+1})^T W^{l+1}\sigma(z^l) }{\partial z^{l}} \\= ((\delta^{l+1})^T W^{l+1})^T\odot \sigma^{'}(z^l) = = ((W^{l+1})^T\delta^{l+1})\odot \sigma^{'}(z^l)

如今咱们获得了 δ l \delta^l 的递推关系式，只要求出了某一层的 δ l \delta^l ，求解 W l , b l W^l,b^l 的对应梯度就很简单。

总结：

其实，对于更新每一层的 W l , b l W^l,b^l 的对应梯度，咱们仔细观察整个过程，发现只须要四个公式就能够完整地进行更新。这就是著名的反向传播的四个公式，即公式(5)、(13)、(8)、(9)。咱们稍加改动，使其能够应用到多种损失函数，即：

δ L = ∂ J ∂ a L ⊙ σ ′ ( z L ) (BP1) δ l = ( W l + 1 ) T δ l + 1 ⊙ σ ′ ( z l ) (BP2) ∂ J ∂ W l = δ l ( a l − 1 ) T (BP3) ∂ J ∂ b l = δ l (BP4) \begin{aligned} \delta^L = \frac{\partial J}{\partial a^L} \odot \sigma^{'}(z^L) \qquad \text{(BP1)}\\ \delta^{l} = (W^{l+1})^T\delta^{l+1}\odot \sigma^{'}(z^l)\qquad \text{(BP2)}\\ \frac{\partial J}{\partial W^l} = \delta^{l}(a^{l-1})^T\qquad \text{(BP3)}\\ \frac{\partial J}{\partial b^l} = \delta^{l}\qquad \text{(BP4)} \end{aligned}

3. 3 DNN反向传播算法过程

如今咱们总结下DNN反向传播算法的过程。因为梯度降低法有批量（Batch），小批量(mini-Batch)，随机三个变种，为了简化描述，这里咱们以最基本的批量梯度降低法为例来描述反向传播算法。实际上在业界使用最多的是mini-Batch的梯度降低法。不过区别仅仅在于迭代时训练样本的选择而已。

输入: 总层数 L L ，以及各隐藏层与输出层的神经元个数，激活函数，损失函数，迭代步长 α \alpha ，最大迭代次数MAX与中止迭代阈值 ϵ \epsilon ，输入的 m m 个训练样本 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } \{(x_1,y_1), (x_2,y_2), ..., (x_m,y_m)\}

输出：各隐藏层与输出层的线性关系系数矩阵 W W 和偏倚向量 b b

1）初始化各隐藏层与输出层的线性关系系数矩阵 W W 和偏倚向量 b b 的值为一个随机值。

2）for iter to 1 to MAX：

    　2-1) for i = 1 i =1 to m m ：

                    a) 将DNN输入 a 1 a^1 设置为 x i x_i

                    b) for l = 2 l=2 to L L ，进行前向传播算法计算 a i , l = σ ( z i , l ) = σ ( W l a i , l − 1 + b l ) a^{i,l} = \sigma(z^{i,l}) = \sigma(W^la^{i,l-1} + b^l)

                    c) 经过损失函数计算输出层的 δ i , L \delta^{i,L} （BP1）

                    d) for l = L − 1 l= L-1 to 2 2 , 进行反向传播算法计算 δ i , l = ( W l + 1 ) T δ i , l + 1 ⊙ σ ′ ( z i , l ) \delta^{i,l} = (W^{l+1})^T\delta^{i,l+1}\odot \sigma^{'}(z^{i,l}) （BP2）

    　2-2) for l = 2 l = 2 to L L ，更新第 l l 层的 W l , b l W^l,b^l :
W l = W l − α ∑ i = 1 m δ i , l ( a i , l − 1 ) T (BP3) W^l = W^l -\alpha \sum\limits_{i=1}^m \delta^{i,l}(a^{i, l-1})^T \qquad \text{(BP3)}

b l = b l − α ∑ i = 1 m δ i , l (BP4) b^l = b^l -\alpha \sum\limits_{i=1}^m \delta^{i,l} \qquad \text{(BP4)}

    　2-3) 若是全部 W W ， b b 的变化值都小于中止迭代阈值 ϵ ϵ ，则跳出迭代循环到步骤3。

3） 输出各隐藏层与输出层的线性关系系数矩阵 W W 和偏倚向量 b b 。

3.4 DNN反向传播算法小结

有了DNN反向传播算法，咱们就能够很方便的用DNN的模型去解决各类监督学习的分类回归问题。固然DNN的参数众多，矩阵运算量也很大，直接使用会有各类各样的问题。有哪些问题以及如未尝试解决这些问题并优化DNN模型与算法，咱们会在其它博客里讲。

参考文献

【1】深度神经网络（DNN）模型与前向传播算法

【2】深度神经网络（DNN）反向传播算法(BP)

本文转自【1】【2】

【3】Neural Networks and Deep Learning

【4】数学-矩阵计算（4）两种布局

【5】Matrix calculus

【6】反向传播四：反向传播的4个公式

【7】机器学习中的矩阵、向量求导

联系我们 沪ICP备13005482号-10