@(深度学习)[神经网络]
本文主要参考链接
1. 前馈神经网络基础教程
1.1. 概述
以监督学习为例，假设我们有训练样本集
(x(i),y(i))
，那么神经网络算法能够提供一种负责且非线性的假设模型
hW,b(x)
，它具有参数
W,b
，可以通过调整此参数来拟合我们的数据。
为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：
这个“神经元”是一个以
x1,x2,x3
及截距+1为输入值的运算单元，其输出为
hW,b(x)=f(WTX)=f(∑3i=1Wixi+b)
，其中函数
f:R⟼R
被称为激活函数。注意，有的教程中用
x0=1
来表示截距+1。在本教程中，我们选用sigmoid函数作为激活函数
f(⋅)
：
f(z)=11+exp(−z)
可以看出，这个单一“神经元”的输入输出映射关系其实就是一个逻辑回归(logistic regression)。
1.2. 神经网络模型
所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。下图是一个简单的神经网络例子：
我们使用圆圈来表示神经网络的输入，标上“+1”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最右边的一层叫做输出层（在本例中，输出层只有一个节点）。中间所有节点组成的一层叫做隐藏层，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个输入单元（偏置单元不计在内），3个隐藏单元以及1个输出单元。
我们用
nl
来表示网络的层数，本例中
nl=3
，记第
l
层记为
Ll
，于是
L1
是输入层，
Lnl
是输出层。本例神经网络有参数
(W,b)=(W(1),b(1),W(2),b(2))
，其中
W(l)ij
（下面的式子中用到）是第
l
层第
j
单元与第
l+1
层第
i
单元之间的联接参数（连接线上的权重，从
j
到
i
），
b(l)i
是第
l+1
层第
i
单元的偏置项。因此在本例中，
W(1)∈R3×3
，
W(2)∈R1×3
。注意，偏置单元没有输入，是因为他们总是输出+1。同时，我们用
sl
表示第
l
层的结点数（不包括偏置单元）。
我们用
a(l)i
表示第
l
层第
i
单元的激活值的（输出值）。当
l=1
时，
a(l)i=xi
，也就是输入层的第
i
个输入值（输入值的第
i
个特征）。对于给定参数集合
W,b
，我们的神经网络就可以按照
hW,b(x)
来计算输出结果。本例中神经网络的计算步骤如下：
a(2)1a(2)2a(2)3hW,b(x)=f(W(1)11x1+W(1)12x2+W(1)13x3+b(1)1)=f(W(1)21x1+W(1)22x2+W(1)23x3+b(1)2)=f(W(1)31x1+W(1)32x2+W(1)33x3+b(1)3)=a(3)1=f(W(2)11a(2)1+W(2)12a(2)2+W(2)13a(2)3+b(2)1)
我们用
z(l)i
表示第
l
层第
i
单元输入加权和（包括偏置单元），比如，
z(2)i=∑nj=1W(1)ijxj+b(1)i
，
a(2)i=f(z(2)i)
。
我们将激活函数
f(⋅)
扩展为向量形式：
f([z1,z2,z3])=[f(z1),f(z2),f(z3)]
，那么，上面的等式可以更简洁地表示为：
z(2)a(2)z(3)hW,b(x)=W(1)x+b(1)=f(z(2))=W(2)a(2)+b(2)=a(3)=f(z(3))
我们将上面的计算步骤叫做
前向传播。给定第
l
层的激活值
a(l)
后，第
l+1
层的激活值
a(l+1)
就可以按照下面步骤计算得到：
z(l+1)a(l+1)=W(l)a(l)+b(l)=f(z(l+1))
将参数矩阵化，使用矩阵-向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。
神经网络也可以由多个隐藏层和多个输出单元，例如下图所示：
像上图这样的网络，叫做前馈神经网络，这种联接图没有闭环或回路。