周志华《机器学习》笔记：第5章 神经网络
一、神经元网络模型
神经网络中最基本的成分是神经元模型，即“简单单元”。“M-P神经元模型”，神经元接收到来自
理想中的激活函数是阶跃函数，它将输入值映射为输出值“0”或“1”，显然“1”对应神经元兴奋，“0”对应于神经元抑制。然而，阶跃函数具备不连续、不光滑等不太好的性质，所以实际经常使用Sigmoid函数做为激活函数。它把可能在较大范围内变化的输入值挤压到（0，1）输出值范围内，所以有时也称为“挤压函数”。
将一个神经网络视为包含了不少参数的数学模型，这个模型是若干个函数，例如
二、感知机与多层网络
感知机由两层神经元组成，输入层接受外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。感知机能容易地实现逻辑与、或、非运算。
更通常地，给定训练数据集，权重
感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元，其学习能力很是有限。事实上，上述与、或、非问题都是线性可分问题。能够证实，若两类模式是线性可分的，即存在一个线性超平面能将它们分开，则感知机的学习过程必定会收敛而求得适当的权向量；不然感知机学习过程会发生振荡，
要解决非线性可分问题，需考虑使用多层功能神经元。输出层与输入层之间的一层神经元，被称为隐层或隐含层，隐含层和输出层神经元都是拥有激活函数的功能神经元。
常见的神经网络，每层神经元与下一层神经元全互连，神经元之间不存在同层链接，也不存在跨层链接。这样的神经网络结构一般称为“多层前馈神经网络”，其中输入层神经网络接收外界输入，隐层与输出层神经元对信号进行加工，最终结果由输出层神经元输出。神经网络的学习过程，就是根据训练数据来调整神经元之间的“链接权”以及每一个功能神经元的阈值。
三、偏差逆传播算法
偏差逆传播（BP）算法是训练多层网络学习算法最杰出的表明。BP算法不只可用于多层前馈神经网络，还可用于其余类型的神经网络。
给定训练集，输入示例由
BP算法基于梯度降低策略，以目标的负梯度方向对参数进行调整。学习率
对于每一个训练样例，BP算法执行如下操做：先将输入示例提供给输入层神经元，而后逐层将信号前传，知道产生输出层的结果；而后计算输出层的偏差，再将偏差逆向传播至隐层神经元，最后根据隐层神经元的偏差来对链接权和阈值进行调整。该迭代过程循环进行，直到达到某些中止条件为止，例如训练偏差已达到一个很小的值。
但上面介绍的“标准BP算法”每次仅针对一个训练样例更新链接权和阈值，也就是说，图5.8中算法的更新规则是基于单个的
有两种策略BP经常使用来缓解BP网络的过拟合。第一种策略是“早停”：将数据分为训练集和验证集，训练集用来计算梯度、更新链接权和验证集，训练集用来计算梯度、更新链接权和阈值，验证集用来估计偏差，若训练集偏差下降但验证集偏差升高，则中止训练，同时返回具备最小验证集偏差的链接权和阈值。第二种策略是“正则化”，其基本思想是在偏差目标函数中增长一个用于描述网络复杂度的部分，例如链接权与阈值的平方和。
四、全局最小与局部极小
局部最小解是参数空间中的某个点，某领域点的偏差函数值均不小于该点的函数值；全局最小值则是指参数空间中全部点的偏差函数均不小于该点的偏差函数值。
基于梯度的搜索是使用最为普遍的参数寻优方法。在此类方法中，咱们从某些初始解出发，迭代寻找最优参数值。每次迭代中，咱们先计算偏差函数在当前点的梯度，而后根据梯度肯定搜索方向。若偏差函数在当前点的梯度为零，则已达到局部极小，更新量将为零，这意味着参数的迭代更新将在此中止。
可采用如下策略来试图“跳出”局部极小，从而进一步接近全剧最小：web
- 以多组不一样参数值初始化多个神经网络，按标准方法训练后，取其中偏差最小的解做为最终参数。
- 使用“模拟退火”技术。模拟退火在每一步都以必定的几率接受比当前解更差的结果，从而有助于“跳出”局部极小。
- 使用随机梯度降低，在计算梯度时加入了随机因素。
此外，遗传算法也经常使用来训练神经网络以更好地逼近全局最小。
五、其余常见神经网络
5.1 RBF网络
RBF网络是一种单隐层前馈神经网络，它使用径向基函数做为隐层神经元激活函数，而输出层则是对隐层神经元输出的线性组合。径向基函数，是某种沿径向对称的标量函数，一般定义为样本到数据中心之间欧氏距离的单调函数。具备足够多隐层神经元的RBF网络能以任意精度逼近任意连续函数。
5.2 ART网络
竞争型学习是神经网络中一种经常使用的无监督学习策略，在使用该策略时，网络的输出网络元相互竞争，每一个时刻仅有一个竞争获取的神经元被激活，其余神经元的状态被抑制。这种机制亦称“胜者通吃”原则。
ART网络是竞争型学习的重要表明。该网络由比较层、识别层、识别阈值和重置模块构成。其中，比较层负责接收输入样本，并将其传递给识别层神经元。识别层每一个神经元对应一个模式类，神经元数目可在训练过程当中动态增加以增长新的模式类。
在接收到比较层的输入信号后，识别层神经元之间相互竞争以产生获胜神经元。竞争的最简单方式是，计算输入向量与每一个识别层神经元所对应的模式类的表明向量之间的距离，距离最小者胜。获胜神经元将向其余识别层神经元发送信号，抑制其激活。若输入向量与获胜神经元所对应的表明向量之间的类似度大于识别阈值，则当前输入样本将被归为该表明向量所属类别；若类似度不大于识别阈值，则重置模块将在识别层增设一个新的神经元，其表明向量就设置为当前输入向量。
5.3 SOM网络
SOM（自组织映射）网络是一种竞争学习型的无监督神经网络，它能将高维输入数据映射到低维空间，同时保持输入数据在高维空间的拓扑结构，即将高维空间中类似的样本点映射到网络输出层的邻近神经元。
SOM的训练目标就是为每一个输出层神经元找到合适的权向量，以达到保持拓扑结构的目的。SOM的训练过程：在接收到一个训练样本后，每一个输出层神经元会计算该样本与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为最佳匹配单元。而后，最佳匹配单元及其临近神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小。
5.4 级联相关网络
结构自适应网络将网络结构也看成学习的目标之一，并但愿能在训练过程当中找到最符合数据特色的网络结构。级联相关网络是结构自适应网络的重要表明。
级联相关网络有两个主要成分：“级联”和“相关”。级联是指创建层次链接的层级结构。在开始训练时，网络只有输入层和输出层，处于最小拓扑结构；随着训练的进行，新的隐层神经元逐渐加入，从而建立起层级结构。当新的隐层神经元加入时，其输入端链接权值实冻结固定的。相关是指经过最大化新神经元的输出与网络偏差之间的相关性来训练相关的参数。
5.5 Elman网络
递归神经网络容许网络中出现环形结构，从而可以让一些神经元的输出反馈回来做为输入信号。这样的结构与信息反馈过程，使得网络在t时刻的输出状态不只与t时刻的输入有关，还与t-1时刻的网络状态有关，从而能处理与时间有关的动态变化。Elman网络是最经常使用的递归网络之一。
5.6 Bolyzmann机
神经网络中有一类模型是为网络状态定义一个“能量”，能量最小化时网络达到理想状态，而网络的训练就是在最小化这个能量函数。Bolyzmann机就是一种“基于能量的模型”。
六、深度学习
经典的深度学习模型就是很深层的神经网络。多隐层神经网络难以直接用经典算法进行训练，由于偏差在多隐层内逆传播时，每每会“发散”而不能收敛到稳定状态。
无监督逐层训练是多隐层网络训练的有效手段，其基本思想是每次训练一层隐结点，训练时将上一层隐结点的输出做为输入，而本层隐结点的输出做为下一层隐结点的输入，这称为“预训练”；在预训练所有完成后，再对整个网络进行“微调”训练。
“预训练+微调”的作法可视为将大量参数分组，对每组先找到局部看来比较好的设置，而后再基于这些局部较优的结果联合起来进行全局寻优。另外一种节省训练开销的策略是“权共享”，即让一组神经元使用相同的链接权。这个策略在卷积神经网络（CNN）中发挥了重要做用。
以CNN进行手写数字识别任务为例所示，网络输入是一个32*32的手写数字图像，输出是其识别结果，CNN复合多个“卷积层”和“采样层”对输入信号进行加工，而后在链接层实现与输出目标之间的映射。每一个卷积层都包含多个特征映射，每一个特征映射是一个由多个神经元构成的“平面”，经过一种卷积滤波器提取输入的一种特征。采样层亦称为“汇合”层，其做用是基于局部相关性原理进行亚采样，从而在减小数据量的同时保留有用信息。CNN可用BP算法进行训练，但在训练中，不管是卷积层仍是采样层，其每一组神经元都是用相同的链接权，从而大幅减小了须要训练的参数数目。
经过多层处理，逐渐将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”便可完成复杂的分类等学习任务。由此可将深度学习理解为进行“特征学习”或“表示学习”。算法