深度神经网络（DNN）模型与前向传播算法

深度神经网络（Deep Neural Networks， 如下简称DNN）是深度学习的基础，而要理解DNN，首先咱们要理解DNN模型，下面咱们就对DNN的模型与前向传播算法作一个总结。

1. 从感知机到神经网络

　　　　在感知机原理小结中，咱们介绍过感知机的模型，它是一个有若干输入和一个输出的模型，以下图:

　　　　输出和输入之间学习到一个线性关系，获得中间输出结果：

z=∑i=1mwixi+b z=∑i=1mwixi+b

　　　　接着是一个神经元激活函数:

sign(z)={−11z<0z≥0 sign(z)={−1z<01z≥0

　　　　从而获得咱们想要的输出结果1或者-1。

　　　　这个模型只能用于二元分类，且没法学习比较复杂的非线性模型，所以在工业界没法使用。

　　　　而神经网络则在感知机的模型上作了扩展，总结下主要有三点：

　　　　1）加入了隐藏层，隐藏层能够有多层，加强模型的表达能力，以下图实例，固然增长了这么多隐藏层模型的复杂度也增长了好多。

　　　　2）输出层的神经元也能够不止一个输出，能够有多个输出，这样模型能够灵活的应用于分类回归，以及其余的机器学习领域好比降维和聚类等。多个神经元输出的输出层对应的一个实例以下图，输出层如今有4个神经元了。

　　　　3） 对激活函数作扩展，感知机的激活函数是 sign(z) sign(z),虽然简单可是处理能力有限，所以神经网络中通常使用的其余的激活函数，好比咱们在逻辑回归里面使用过的Sigmoid函数，即：

f(z)=11+e−z f(z)=11+e−z

　　　　还有后来出现的tanx, softmax,和ReLU等。经过使用不一样的激活函数，神经网络的表达能力进一步加强。对于各类经常使用的激活函数，咱们在后面再专门讲。

2. DNN的基本结构

　　　　上一节咱们了解了神经网络基于感知机的扩展，而DNN能够理解为有不少隐藏层的神经网络。这个不少其实也没有什么度量标准, 多层神经网络和深度神经网络DNN其实也是指的一个东西，固然，DNN有时也叫作多层感知机（Multi-Layer perceptron,MLP）, 名字实在是多。后面咱们讲到的神经网络都默认为DNN。

　　　　从DNN按不一样层的位置划分，DNN内部的神经网络层能够分为三类，输入层，隐藏层和输出层,以下图示例，通常来讲第一层是输出层，最后一层是输出层，而中间的层数都是隐藏层。

　　　　层与层之间是全链接的，也就是说，第i层的任意一个神经元必定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，可是从小的局部模型来讲，仍是和感知机同样，即一个线性关系 z=∑wixi+b z=∑wixi+b加上一个激活函数 σ(z) 。

　　　　因为DNN层数多，则咱们的线性关系系数 w w和偏倚 b b的数量也就是不少了。具体的参数在DNN是如何定义的呢？

　　　　首先咱们来看看线性关系系数 w w的定义。如下图一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为 w324 w243。上标3表明线性系数 w w所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。你也许会问，为何不是 w342 , 而是 w324 呢？这主要是为了便于模型用于矩阵表示运算，若是是 w324 而每次进行矩阵运算是 wTx+b wTx+b，须要进行转置。将输出的索引放在前面的话，则线性运算不用转置,即直接为 wx+b wx+b。总结下，第 l−1 l−1层的第k个神经元到第 l l层的第j个神经元的线性系数定义为 wljk wjkl。注意，输入层是没有 w w参数的。

 　　　　再来看看偏倚 b b的定义。仍是以这个三层的DNN为例，第二层的第三个神经元对应的偏倚定义为 b23 b32。其中，上标2表明所在的层数，下标3表明偏倚所在的神经元的索引。一样的道理，第三个的第一个神经元的偏倚应该表示为 b31 b13。一样的，输入层是没有偏倚参数 b b的。

3. DNN前向传播算法数学原理

　　　　在上一节，咱们已经介绍了DNN各层线性关系系数 w w,偏倚 b b的定义。假设咱们选择的激活函数是 σ(z) σ(z)，隐藏层和输出层的输出值为 a a，则对于下图的三层DNN,利用和感知机同样的思路，咱们能够利用上一层的输出计算下一层的输出，也就是所谓的DNN前向传播算法。

　　　　对于第二层的的输出 a21,a22,a23 a12,a22,a32，咱们有：

a21=σ(z21)=σ(w211x1+w212x2+w213x3+b21) a12=σ(z12)=σ(w112x1+w122x2+w132x3+b12)

a22=σ(z22)=σ(w221x1+w222x2+w232x3+b22) a22=σ(z22)=σ(w212x1+w222x2+w322x3+b22)

a23=σ(z23)=σ(w231x1+w232x2+w233x3+b23) a32=σ(z32)=σ(w312x1+w322x2+w332x3+b32)

　　　　对于第三层的的输出 a31 a13，咱们有：

a31=σ(z31)=σ(w311a21+w312a22+w313a23+b33) a13=σ(z13)=σ(w113a12+w123a22+w133a32+b33)

　　　　将上面的例子通常化，假设第 l−1 l−1层共有m个神经元，则对于第 l l层的第j个神经元的输出 alj ajl，咱们有：

alj=σ(zlj)=σ(∑k=1mwljkal−1k+blj) ajl=σ(zjl)=σ(∑k=1mwjklakl−1+bjl)

　　　　其中，若是 l=2 l=2,则对于的 a1k ak1即为输入层的 xk xk。

　　　　从上面能够看出，使用代数法一个个的表示输出比较复杂，而若是使用矩阵法则比较的简洁。假设第 l−1 l−1层共有m个神经元，而第 l l层共有n个神经元，则第 l l层的线性系数 w w组成了一个 n×m n×m的矩阵 Wl Wl, 第 l l层的偏倚 b b组成了一个 n×1 n×1的向量 bl bl , 第 l−1 l−1层的的输出 a a组成了一个 m×1 m×1的向量 al−1 al−1，第 l l层的的未激活前线性输出 z z组成了一个 n×1 n×1的向量 zl zl, 第 l l层的的输出 a a组成了一个 n×1 n×1的向量 al al。则用矩阵法表示，第l层的输出为：

al=σ(zl)=σ(Wlal−1+bl) al=σ(zl)=σ(Wlal−1+bl)

 

　　　　这个表示方法简洁漂亮，后面咱们的讨论都会基于上面的这个矩阵法表示来。

4. DNN前向传播算法

　　　　有了上一节的数学推导，DNN的前向传播算法也就不难了。所谓的DNN的前向传播算法也就是利用咱们的若干个权重系数矩阵 W W,偏倚向量 b b来和输入值向量 x x进行一系列线性运算和激活运算，从输入层开始，一层层的向后计算，一直到运算到输出层，获得输出结果为值。

　　　　输入: 总层数L，全部隐藏层和输出层对应的矩阵 W W,偏倚向量 b b，输入值向量 x x

　　　　输出：输出层的输出 aL aL

　　　　1） 初始化 a1=x a1=x

　　　　2)  for  l=2 l=2 to  L L, 计算：

al=σ(zl)=σ(Wlal−1+bl) al=σ(zl)=σ(Wlal−1+bl)

　　　　最后的结果即为输出 aL aL。

5. DNN前向传播算法小结

　　　　单独看DNN前向传播算法，彷佛没有什么大用处，并且这一大堆的矩阵 W W,偏倚向量 b b对应的参数怎么得到呢？怎么获得最优的矩阵 W W,偏倚向量 b b呢？这个咱们在讲DNN的反向传播算法时再讲。而理解反向传播算法的前提就是理解DNN的模型与前向传播算法。这也是咱们这一篇先讲的缘由。

 

（欢迎转载，转载请注明出处。欢迎沟通交流： pinard.liu@ericsson.com） 

参考资料：

1） Neural Networks and Deep Learning by By Michael Nielsen

2） Deep Learning, book by Ian Goodfellow, Yoshua Bengio, and Aaron Courville

3） UFLDL Tutorial