深度神经网络模型（DNN）与前向传播算法

原文见：深度神经网络模型（DNN）与前向传播算法

这里具体写一下摘要及感想

1、DNN（深度神经网络）简介：

从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,如下图示例，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。

输入层的每个神经元输入样本数据x的一维

层与层之间是全连接的，也就是说，第 $i$i层的任意一个神经元一定与第 $i+1$i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系 $z=∑w_ix_i+b$z=∑wi​xi​+b加上一个激活函数 $σ(z)$σ(z)。

2、参数定义
由于DNN层数增多，则线性关系系数 $w$w和偏倚 $b$b的数量就会很多，具体的定义方法如下：
首先我们来看看线性关系系数 $w$w的定义。以下图一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为 $w_{24}^3$w243​

上标 3 代表线性系数 $w$w所在的层数，而下标对应的是输出的第三层索引 2 和输入的第二层索引 4 。你也许会问，为什么不是 $w^3_{42},$w423​, 而是 $w^3_{24}$w243​呢，如果是 $w^3_{42}$w423​而每次进行矩阵运算是 $w^Tx+b$wTx+b， 需要进行转置。将输出的索引放在前面的话，则线性运算不用转置,即直接为 $wx+b$wx+b。总结下，第 $l−1$l−1层的第 $k$k个神经元到第 $l$l层的第 $j$j个神经元的线性系数定义为 $w_{jk}^l$wjkl​。注意，输入层是没有 $w$w参数的。

再来看看偏倚 $b$b的定义。还是以这个三层的DNN为例，第二层的第三个神经元对应的偏倚定义为 $b_{23}$b23​。其中，上标 $2$2代表所在的层数，下标 $3$3代表偏倚所在的神经元的索引。同样的道理，第三个的第一个神经元的偏倚应该表示为 $b_{31}$b31​。同样的，输入层是没有偏倚参数 $b$b的。

3、传播公式

从上面可以看出，使用代数法一个个的表示输出比较复杂，而如果使用矩阵法则比较的简洁。假设第 $l−1$l−1层共有 $m$m个神经元，而第 $l$l层共有 $n$n个神经元，则第 $l$l层的线性系数 $w$w组成了一个 $n×m$n×m的矩阵 $W^l$Wl, 第 $l$l层的偏倚 $b$b组成了一个 $n×1$n×1的向量 $b^l$bl , 第 $l−1$l−1层的的输出 $a$a组成了一个 $m×1$m×1的向量 $a^{l-1}$al−1，第 $l$l层的的未激活前线性输出 $z$z组成了一个 $n×1$n×1的向量 $z^l$zl, 第 $l$l层的的输出 $a$a组成了一个 $n×1$n×1的向量 $a^l$al。则用矩阵法表示，第l层的输出为：矩阵化：

4、前向传播过程
所谓的DNN的前向传播算法也就是利用我们的若干个权重系数矩阵 $W$W,偏倚向量 $b$b来和输入值向量 $x$x进行一系列线性运算和激活运算，从输入层开始，一层层的向后计算，一直到运算到输出层，得到输出结果为值。
　　　　输入: 总层数 $L$L，所有隐藏层和输出层对应的矩阵 $W$W,偏倚向量 $b$b，输入值向量 $x$x
　　　　输出：输出层的输出 $a^L$aL
　　　　1） 初始化 $a_1=x$a1​=x
　　　　2) for l=2 to L, 计算：

$a_l=\sigma(W^la^{l-1}+b^l)$al​=σ(Wlal−1+bl)
最后的结果即为输出 $a^L$aL。