深度神经网络（DNN）反向传播算法(BP)（转载）

转载地址点击打开连接(博主是系列课件，很详细，很基础，强烈推荐）

在深度神经网络（DNN）模型与前向传播算法中，咱们对DNN的模型和前向传播算法作了总结，这里咱们更进一步，对DNN的反向传播算法（Back Propagation，BP）作一个总结。

1. DNN反向传播算法要解决的问题

　　　　在了解DNN的反向传播算法前，咱们先要知道DNN反向传播算法要解决的问题，也就是说，何时咱们须要这个反向传播算法？　

　　　　回到咱们监督学习的通常问题，假设咱们有m个训练样本：{(x1,y1),(x2,y2),...,(xm,ym)}{(x1,y1),(x2,y2),...,(xm,ym)},其中xx为输入向量，特征维度为n_in,而yy为输出向量，特征维度为n_out。咱们须要利用这m个样本训练出一个模型，当有一个新的测试样本(xtest,?)来到时, 咱们能够预测ytest向量的输出。　

　　　　若是咱们采用DNN的模型，即咱们使输入层有n_in个神经元，而输出层有n_out个神经元。再加上一些含有若干神经元的隐藏层。此时咱们须要找到合适的全部隐藏层和输出层对应的线性系数矩阵W,偏倚向量b,让全部的训练样本输入计算出的输出尽量的等于或很接近样本输出。怎么找到合适的参数呢？

　　　　若是你们对传统的机器学习的算法优化过程熟悉的话，这里就很容易联想到咱们能够用一个合适的损失函数来度量训练样本的输出损失，接着对这个损失函数进行优化求最小化的极值，对应的一系列线性系数矩阵WW,偏倚向量bb即为咱们的最终结果。在DNN中，损失函数优化极值求解的过程最多见的通常是经过梯度降低法来一步步迭代完成的，固然也能够是其余的迭代方法好比牛顿法与拟牛顿法。若是你们对梯度降低法不熟悉，建议先阅读我以前写的梯度降低（Gradient Descent）小结。

　　　　对DNN的损失函数用梯度降低法进行迭代优化求极小值的过程即为咱们的反向传播算法。

2. DNN反向传播算法的基本思路

　　　　在进行DNN反向传播算法前，咱们须要选择一个损失函数，来度量训练样本计算出的输出和真实的训练样本输出之间的损失。你也许会问：训练样本计算出的输出是怎么得来的？这 个输出是随机选择一系列W,bW,b,用咱们上一节的前向传播算法计算出来的。即经过一系列的计算：al=σ(zl)=σ(Wlal−1+bl)al=σ(zl)=σ(Wlal−1+bl)。计算到输出层第LL层对应的aLaL即为前向传播算法计算出来的输出。

　　　　回到损失函数，DNN可选择的损失函数有很多，为了专一算法，这里咱们使用最多见的均方差来度量损失。即对于每一个样本，咱们指望最小化下式：

J(W,b,x,y)=12||aL−y||22J(W,b,x,y)=12||aL−y||22

　　　　其中，aLaL和yy为特征维度为n_outn_out的向量,而||S||2||S||2为S的L2范数。

　　　　损失函数有了，如今咱们开始用梯度降低法迭代求解每一层的W,bW,b。

　　　　首先是输出层第LL层。注意到输出层的W,bW,b知足下式：

aL=σ(zL)=σ(WLaL−1+bL)aL=σ(zL)=σ(WLaL−1+bL)

　　　　这样对于输出层的参数，咱们的损失函数变为：

J(W,b,x,y)=12||aL−y||22=12||σ(WLaL−1+bL)−y||22J(W,b,x,y)=12||aL−y||22=12||σ(WLaL−1+bL)−y||22

　　　　这样求解W,bW,b的梯度就简单了：

∂J(W,b,x,y)∂WL=∂J(W,b,x,y)∂zL∂zL∂WL=(aL−y)⊙σ′(zL)(aL−1)T∂J(W,b,x,y)∂WL=∂J(W,b,x,y)∂zL∂zL∂WL=(aL−y)⊙σ′(zL)(aL−1)T

∂J(W,b,x,y)∂bL=∂J(W,b,x,y)∂zL∂zL∂bL=(aL−y)⊙σ′(zL)∂J(W,b,x,y)∂bL=∂J(W,b,x,y)∂zL∂zL∂bL=(aL−y)⊙σ′(zL)

　　　　注意上式中有一个符号⊙⊙,它表明Hadamard积，对于两个维度相同的向量A（a1,a2,...an）TA（a1,a2,...an）T和B（b1,b2,...bn）TB（b1,b2,...bn）T,则A⊙B=(a1b1,a2b2,...anbn)TA⊙B=(a1b1,a2b2,...anbn)T。

　　　　咱们注意到在求解输出层的W,bW,b的时候，有公共的部分∂J(W,b,x,y)∂zL∂J(W,b,x,y)∂zL，所以咱们能够把公共的部分即对zLzL先算出来，记为：

δL=∂J(W,b,x,y)∂zL=(aL−y)⊙σ′(zL)δL=∂J(W,b,x,y)∂zL=(aL−y)⊙σ′(zL)

　　　　如今咱们终于把输出层的梯度算出来了，那么如何计算上一层L−1L−1层的梯度，上上层L−2L−2层的梯度呢？这里咱们须要一步步的递推，注意到对于第ll层的未激活输出zlzl，它的梯度能够表示为:

δl=∂J(W,b,x,y)∂zl=∂J(W,b,x,y)∂zL∂zL∂zL−1∂zL−1∂zL−2...∂zl+1∂zlδl=∂J(W,b,x,y)∂zl=∂J(W,b,x,y)∂zL∂zL∂zL−1∂zL−1∂zL−2...∂zl+1∂zl

　　　　若是咱们能够依次计算出第ll层的δlδl,则该层的Wl,blWl,bl很容易计算？为何呢？注意到根据前向传播算法，咱们有：

zl=Wlal−1+blzl=Wlal−1+bl

　　　　因此根据上式咱们能够很方便的计算出第l层的Wl,blWl,bl的梯度以下：

∂J(W,b,x,y)∂Wl=∂J(W,b,x,y)∂zl∂zl∂Wl=δl(al−1)T∂J(W,b,x,y)∂Wl=∂J(W,b,x,y)∂zl∂zl∂Wl=δl(al−1)T

∂J(W,b,x,y)∂bl=∂J(W,b,x,y)∂zl∂zl∂bl=δl∂J(W,b,x,y)∂bl=∂J(W,b,x,y)∂zl∂zl∂bl=δl

　　　　那么如今问题的关键就是要求出δlδl了。这里咱们用数学概括法，第LL层的δLδL上面咱们已经求出， 假设第l+1l+1层的δl+1δl+1已经求出来了，那么咱们如何求出第ll层的δlδl呢？咱们注意到：

δl=∂J(W,b,x,y)∂zl=∂J(W,b,x,y)∂zl+1∂zl+1∂zl=δl+1∂zl+1∂zlδl=∂J(W,b,x,y)∂zl=∂J(W,b,x,y)∂zl+1∂zl+1∂zl=δl+1∂zl+1∂zl

　　　　可见，用概括法递推δl+1δl+1和δlδl的关键在于求解∂zl+1∂zl∂zl+1∂zl。

　　　　而zl+1zl+1和zlzl的关系其实很容易找出：

zl+1=Wl+1al+bl+1=Wl+1σ(zl)+bl+1zl+1=Wl+1al+bl+1=Wl+1σ(zl)+bl+1

　　　　这样很容易求出：

∂zl+1∂zl=(Wl+1)T⊙(σ′(zl),..,σ′(zl))nl+1∂zl+1∂zl=(Wl+1)T⊙(σ′(zl),..,σ′(zl))⏟nl+1

　　　　将上式带入上面δl+1δl+1和δlδl关系式咱们获得：

δl=δl+1∂zl+1∂zl=(Wl+1)Tδl+1⊙σ′(zl)δl=δl+1∂zl+1∂zl=(Wl+1)Tδl+1⊙σ′(zl)

　　　　如今咱们获得了δlδl的递推关系式，只要求出了某一层的δlδl，求解Wl,blWl,bl的对应梯度就很简单的。

3. DNN反向传播算法过程

　　　　如今咱们总结下DNN反向传播算法的过程。因为梯度降低法有批量（Batch），小批量(mini-Batch)，随机三个变种，为了简化描述，这里咱们以最基本的批量梯度降低法为例来描述反向传播算法。实际上在业界使用最多的是mini-Batch的梯度降低法。不过区别仅仅在于迭代时训练样本的选择而已。

　　　　输入: 总层数L，以及各隐藏层与输出层的神经元个数，激活函数，损失函数，迭代步长αα,最大迭代次数MAX与中止迭代阈值ϵϵ，输入的m个训练样本{(x1,y1),(x2,y2),...,(xm,ym)}{(x1,y1),(x2,y2),...,(xm,ym)}

　　　　输出：各隐藏层与输出层的线性关系系数矩阵WW和偏倚向量bb

　　　　1) 初始化各隐藏层与输出层的线性关系系数矩阵WW和偏倚向量bb的值为一个随机值。

 　　　  2）for iter to 1 to MAX：

　　　　2-1) for i =1 to m：

　　　　　　a) 将DNN输入a1a1设置为xixi

　　　　　　b) for ll=2 to L，进行前向传播算法计算ai,l=σ(zi,l)=σ(Wlai,l−1+bl)ai,l=σ(zi,l)=σ(Wlai,l−1+bl)

　　　　　　c) 经过损失函数计算输出层的δi,Lδi,L

　　　　　　d) for ll= L to 2, 进行反向传播算法计算δi,l=(Wl+1)Tδi,l+1⊙σ′(zi,l)δi,l=(Wl+1)Tδi,l+1⊙σ′(zi,l)

　　　　2-2) for ll = 2 to L，更新第ll层的Wl,blWl,bl:

Wl=Wl−α∑i=1mδi,l(ai,l−1)TWl=Wl−α∑i=1mδi,l(ai,l−1)T

bl=bl−α∑i=1mδi,lbl=bl−α∑i=1mδi,l

　　　　2-3) 若是全部W，bW，b的变化值都小于中止迭代阈值ϵϵ，则跳出迭代循环到步骤3。

　　　　3） 输出各隐藏层与输出层的线性关系系数矩阵WW和偏倚向量bb。

4. DNN反向传播算法小结

　　　　有了DNN反向传播算法，咱们就能够很方便的用DNN的模型去解决第一节里面提到了各类监督学习的分类回归问题。固然DNN的参数众多，矩阵运算量也很大，直接使用会有各类各样的问题。有哪些问题以及如未尝试解决这些问题并优化DNN模型与算法，咱们在下一篇讲。

 

（欢迎转载，转载请注明出处。欢迎沟通交流： liujianping-ok@163.com） 

参考资料：

1） Neural Networks and Deep Learning by By Michael Nielsen

2） Deep Learning, book by Ian Goodfellow, Yoshua Bengio, and Aaron Courville

3） UFLDL Tutorial