《神经网络与深度学习》（一） 感知机、多层神经网络、BP算法、深度学习
（1）感知机模型（双层神经网络模型：输入层和计算单元，瓶颈：XOR问题——线性不可分）html
（2）多层神经网络（解决线性不可分问题——在感知机的神经网络上多加一层，并利用“后向传播”（Back-propagation）学习方法，能够解决XOR问题）（1974年，哈佛博士论文）算法
（3）BP算法训练的神经网络：信号正向传播和偏差反向传播（修正权值）网络
缺点：数据结构
l 梯度愈来愈稀疏：从顶层向下，偏差校订信号愈来愈小函数
l 收敛到局部最小值：随机值初始化会致使这种状况的发生（从远离最优区域开始的时候）学习
l 只能用有标签的数据来训练编码
（4）生物学实验htm
（4）深度学习：首先利用无监督学习对每层进行逐层预训练（Layers Pre-Training）去学习特征（学到数据自己的结构），每次单独训练一层，并将训练结果做为更高一层的输入；而后到最上层改用监督学习从上到下进行微调（Fine-tune）去学习模型。blog
Ps：因为深度学习的第一步不是随机初始化，而是经过学习输入的数据结构获得的，所以这个值更接近全局最优。ci
步骤：模仿大脑的学习（编码）和重构（解码）——不是训练数据到标记的“映射”，而是去学习数据自己内在结构和特征[隐含层也叫作特征探测器（Feature detector）]。（一般隐含层中的神经元数比输入/输出层的少，这是为了使神经网络只学习最重要的特征并实现特征的降维）
1）无监督训练
2）有监督微调：第一种——只调整分类器；第二种——经过有标签样本，微调整个系统。
Deep Learning和 neural network异同
两者的相同在于deep learning采用了神经网络类似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有链接，同一层以及跨层节点之间相互无链接，每一层能够看做是一个logistic regression模型；这种分层结构，是比较接近人类大脑的结构的。
而为了克服神经网络训练中的问题，DL采用了与神经网络很不一样的训练机制。传统神经网络中，采用的是back propagation的方式进行，简单来说就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，而后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（总体是一个梯度降低法）。而deep learning总体上是一个layer-wise的训练机制。这样作的缘由是由于，若是采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得过小，出现所谓的gradient diffusion（梯度弥散）。
BP算法做为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想。深度结构（涉及多个非线性处理单元层）非凸目标代价函数中广泛存在的局部最小是训练困难的主要来源。
BP算法存在的问题：
（1）梯度愈来愈稀疏：从顶层越往下，偏差校订信号愈来愈小；
（2）收敛到局部最小值：尤为是从远离最优区域开始的时候（随机值初始化会致使这种状况的发生）；
（3）通常，咱们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑能够从没有标签的的数据中学习；
deep learning训练过程具体以下：
1）使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）：
采用无标定数据（有标定数据也可）分层训练各层参数，这一步能够看做是一个无监督训练过程，是和传统神经网络区别最大的部分（这个过程能够看做是feature learning过程）：
具体的，先用无标定数据训练第一层，训练时先学习第一层的参数（这一层能够看做是获得一个使得输出和输入差异最小的三层神经网络的隐层），因为模型capacity的限制以及稀疏性约束，使得获得的模型可以学习到数据自己的结构，从而获得比输入更具备表示能力的特征；在学习获得第n-1层后，将n-1层的输出做为第n层的输入，训练第n层，由此分别获得各层的参数；
2）自顶向下的监督学习（就是经过带标签的数据去训练，偏差自顶向下传输，对网络进行微调）：
基于第一步获得的各层参数进一步fine-tune（微调）整个多层模型的参数，这一步是一个有监督训练过程；第一步相似神经网络的随机初始化初值过程，因为DL的第一步不是随机初始化，而是经过学习输入数据的结构获得的，于是这个初值更接近全局最优，从而可以取得更好的效果；因此deep learning效果好很大程度上归功于第一步的feature learning过程。
参考：http://www.cnblogs.com/caocan702/p/5662789.html