机器学习必知的八大神经网络架构

为何须要机器学习？

  有些任务直接编码较为复杂，咱们不能处理全部的细微之处和简单编码，所以，机器学习颇有必要。相反，咱们向机器学习算法提供大量数据，让算法不断探索数据并构建模型来解决问题。好比：在新的杂乱照明场景内，重新的角度识别三维物体；编写一个计算信用卡交易诈骗几率的程序。

  机器学习方法以下：它没有为每一个特定的任务编写相应的程序，而是收集大量事例，为给定输入指定正确输出。算法利用这些事例产生程序。该程序与手写程序不一样，可能包含数百万的数据量，也适用于新事例以及训练过的数据。若数据改变，程序在新数据上训练且被更新。大量的计算比支付手写程序要便宜的多。

机器学习的应用以下：

1.模式识别：识别实际场景的面部或表情、语言识别。

2.识别异常：信用卡交易顺序异常，核电厂传感器读数模式异常。

3.预测：将来股价或货币汇率，我的观影喜爱。

什么是神经网络？

神经网络是一种通用机器学习模型，是一套特定的算法集，在机器学习领域掀起了一场变革，自己就是普通函数的逼近，能够应用到任何机器学习输入到输出的复杂映射问题。通常来讲，神经网络架构可分为3类：

1.前馈神经网络：是最多见的类型，第一层为输入，最后一层为输出。若是有多个隐藏层，则称为“深度”神经网络。它可以计算出一系列事件间类似转变的变化，每层神经元的活动是下一层的非线性函数。

2.循环神经网络：各节点之间构成循环图，能够按照箭头的方向回到初始点。循环神经网络具备复杂的动态，难以训练，它模拟连续数据，至关于每一个时间片断具备一个隐藏层的深度网络，除了在每一个时间片断上使用相同的权重，也有输入。网络能够记住隐藏状态的信息，可是很难用这点来训练网络。

3.对称链接网络：和循环神经网络同样，但单元间的链接是对称的（即在两个方向的链接权重相同），它比循环神经网络更容易分析，可是功能受限。没有隐藏单元的对称链接的网络被称为“Hopfiels网络”，有隐藏单元的对称链接的网络则被称为“波兹曼机器”。

1、感知机（Perceptron）

 

        做为第一代神经网络，感知机是只有一个神经元的计算模型。首先将原始输入矢量转化为特征矢量，再用手写程序定义特征，而后学习如何对每一个特征加权获得一个标量，若是标量值高于某一阈值，则认为输入矢量是目标类的一个积极样例。标准的感知机结构是前馈模型，即输入传送到节点，处理后产生输出结果：从底部输入，顶部输出，以下图所示。但也有其局限性：一旦肯定了手写编码特征，在学习上就受到了较大限制。这对感知器来讲是毁灭性的，尽管转换相似于翻译，可是模式识别的重点是识别模式。若是这些转换造成了一个组，学习的感知器部分不能学会识别，因此须要使用多个特征单元识别子模式的转换。

 

没有隐藏单元的网络在输入输出映射建模上也有很大局限性。增长线性单元层也解决不了，由于线性叠加依然是线性的，固定的非线性输出也不能创建这种映射。所以须要创建多层自适应的非线性隐藏单元。

2、卷积神经网络（Convolutional Neural Network）

  一直以来，机器学习研究普遍集中在对象检测上，但仍有诸多因素使其难以

识别对象：1.对象分割、遮挡问题；2.照明影响像素强度；3.物体以各类不一样的形式展示；4.相同功能的对象具备不一样的物理形状；5.视觉不一样带来的变化；6.维度跳跃问题。

 

        复制特征方法是当前CNN用于目标检测的主要方法，大规模的复制不一样位置上相同的特征检测图，大大减小了要学习的自由参数数量。它使用不一样的特征类型，每种类型都有本身的复制检测图，也容许以各类方式表示每一个图像块。

 

  CNN可用于手写数字识别到3D对象识别等，但从彩色图像中识别对象比手写数字识别要复杂，它的类别、像素是数字的100倍（1000 vs 100，256*256彩色vs28*28灰度）。

2012年的ILSVRC-2012竞赛中的ImageNet提供一个包含120万张高分辨率训练图像的数据集。测试图像没有标注，参赛者须要识别图像中对象的类型。获胜者 Alex Krizhevsky开发了一个深度卷积神经网络，除了一些最大池化层，架构还有7个隐藏层，前面都是卷积层，最后2层是全局链接。激活函数在每一个隐藏层都是线性单元，比逻辑单元速度更快，还使用竞争性规范标准抑制隐藏活动，有助于强度变化。硬件上，在两个Nvidia GTX 580 GPU（超过1000个快速内核）上使用一个高效卷积网络实现，很是适合矩阵乘法，具备很高的内存带宽。

3、循环神经网络（ Recurrent Neural Network）

 

循环神经网络（RNN）有两个强大的属性能够计算任何计算机计算出来的东西：（1）容许存储大量有效信息的分布式隐藏状态（2）用复杂的方式容许更新隐藏状态的非线性动态。RNN强大的计算能力和梯度消失（或爆炸）使其很难训练。经过多层反向传播时，若权重很小，则梯度呈指数缩小；若权重很大，则梯度呈指数增加。典型的前馈神经网络的一些隐藏层能够应对指数效应，另外一方面，在长序列RNN中，梯度容易消失（或爆照），即便有好的初始权重，也很难检测出当前依赖于多个时间输入的目标输出所以很难处理远程依赖性。

学习RNN的方法以下：

1.长短时间记忆：用具备长期记忆值的小模块制做RNN。

2.Hessian Free Optimization：使用优化器处理梯度消失问题。

3.回声状态网络：初始化输入→隐藏和隐藏→隐藏和输出→隐藏连接，使隐藏状态有一个巨大的弱耦合振荡器储备，能够选择性的由输入驱动。

4.用动量初始化：和回声状态网络同样，再用动量学习全部链接。

四、长短时间记忆网络（Long/Short Term Memory Network）

Hochreiter & Schmidhuber（1997年）构建了长短时间记忆网络，解决了获取RNN长时间记忆问题，使用乘法逻辑线性单元设计存储单元，只要保持“写入”门打开，信息就会写入并保持在单元中，也能够打开“读取”门从中获取数据。

RNN能够阅读行书，笔尖的输入坐标为（x,y,p），p表明笔是向上仍是向下，输出则为一个字符序列，使用一系列小图像做为输入而不是笔坐标。Graves & Schmidhuber（2009年）称带有LSTM的RNN是阅读行书的最佳系统。

 

五、霍普菲尔德网络（Hopfield Networks）

  非线性循环网络有不少种表现方式，较难分析：能达到稳定、震荡或馄饨状态这三种表现形式。Hopfield网络是由有循环链接的二进制阈值单元组成。1982年，约翰·霍普菲尔德发现，若是链接对称，则存在一个全局能量函数，整个网络的每一个二进制“结构”都有能量，而二进制阈值决策规则使网络为能量函数设置一个最小值。使用这种计算类型最简单的方法是将记忆做为神经网络的能量最小值。使用能量最小值表示记忆给出了一个内容可寻内存，可经过了解局部内容来访问整个项目。

 每记忆一次配置，都但愿能产生一个能量最小值。但如有两个最小值就会限制Hopfield网络容量。伊丽莎白·加德纳发现有一个更好的存储规则，它使用了全部的权重。而不是试图一次存储多个矢量，她经过训练集进行屡次循环，并用感知器收敛程序训练每一个单元，使该矢量的全部其它单元具备正确的状态。

6、玻尔兹曼机（Boltzmann Machine Network）

 玻尔兹曼机是一种随机循环神经网络，能够被看做是Hopfield网络的随机生成产物，是最早学习内部representations的神经网络之一。该算法旨在最大限度地提升机器在训练集中分配给二进制矢量的几率的乘积，至关于最大化其分配给训练矢量的对数几率之和，方法以下：（1）网络没有外部输入时，使网络在不一样时间分布稳定；（2）每次对可见矢量采样。

2012年，Salakhutdinov和Hinton为玻尔兹曼机写了有效的小批量学习程序。2014年将模型更新，称之为受限玻尔兹曼机，详情请查看原文。

7、深度信念网络（Deep Belief Network）

        反向传播，是人工神经网络计算处理一批数据后每一个神经元的偏差分布的标准方法，可是也存在一些问题。首先要标注训练数据，但几乎全部数据都没有标注；其次，学习时间不足，这意味着隐藏层数较多的网络较慢；第三，可能会使局部陷入最不利局面。所以，对于深度网络来讲这远远不够。

        无监督学习方法克服了反向传播的限制，使用梯度方法调整权重有助于保持架构的效率和简单性，还能够将它用于对感官输入结构建模。特别的是，它调整权重，将产生感官输入的生成模型几率最大化。信念网络是由随机变量组成的有向非循环图，可推断未观测变量的状态，还能够调整变量间的交互，使网络更可能产生训练数据。

        早期图形模型是专家定义图像结构和条件几率，这些图形是稀疏链接的，他们专一于作正确的推论，而不是学习。但对于神经网络来讲，学习是重点，其目的不在于可解释性或稀疏链接性使推断变得更容易。

8、深度自动编码器（Deep Auto-encoders）

        该架构提供了两种映射方式，好像是一个作非线性降维很是好的方法，它在训练事例的数量上是线性的（或更好的），而最终编码模型至关紧凑和快速。然而，使用反向传播优化深度自动编码器很困难，若初始权重较小，反向传播梯度会消失。咱们使用无监督逐层预训练或像回声状态网络同样认真的初始化权重。

        对于预训练任务有三种不一样类型的浅自动编码器：（1）RBM做为自动编码器；（2）去噪自动编码器；（3）压缩自动编码器。对于没有大量标注的数据集，预训练有助于后续的判别式学习。即使是深度神经网络，对于大量的标注数据集，无监督训练对权重初始化并非必要的，预训练是初始化深度网络权重的第一个好方法，如今也有其它方法。但若是扩大网络，须要再次作预训练。

总结

传统的编程方法是咱们告诉计算机作什么，将大问题分解成不少小而精确的且计算机能够轻松执行的任务。神经网络则不须要告诉计算机如何解决问题，而是从观测到的数据中学习，找到解决问题的办法。

阅读原文http://click.aliyun.com/m/40094/