Deep Learning 学习随记（五）Deep network 深度网络

这一个多周忙别的事去了，忙完了，接着看讲义~

这章讲的是深度网络（Deep Network）。前面讲了自学习网络，经过稀疏自编码和一个logistic回归或者softmax回归链接，显然是3层的。而这章则要讲深度（多层）网络的优点。

Deep Network：

为何要使用深度网络呢？使用深度网络最主要的优点在于，它能以简洁的方式来表达比浅层网络大得多的函数集合。正式点说，能够找到一些函数，它们可以用k层网络简洁的表达出来（这里的简洁指的是使用隐层单元的数目与输入单元数目是多项式关系），可是对一个只有（k-1）层的网络而言，除非它使用与输入单元数目呈指数关系的隐层单元数目，不然不能简洁表达这些函数。

在处理对象是图像的状况下，可以经过使用深度网络学习到“部分-总体”的分解关系。例如，第一层能够学习将图像中的像素组合在一块儿来检测边缘（正如咱们在前面的练习中作的那样）。第二层能够将边缘组合起来检测更长的轮廓或者简单的“目标的部件”。在更深的层次上，能够将这些轮廓进一步组合起来以检测更为复杂的特征。这个能够参考CSDN上的一篇博文（之前看到的，有点印象，就找了找）http://blog.csdn.net/abcjennifer/article/details/7804962

Deep Network无疑具备很大的优点，可是也很显然的就是训练的时候是很是困难的。讲义中讲了3方面的缘由：数据难获取（标注数据量很是少），局部极值问题和梯度弥散问题。（这里就不具体写了，容易理解）。为了训练好深度网络，讲义中提到用逐层贪婪训练的方法：每次只训练一层网络，即咱们首先训练一个只有一层隐层的网络，仅当这层网络训练结束以后才开始训练一个有两层隐层的网络，以此类推。在每一步中，咱们把已经训练好的前K层固定，而后增长第K-1层（也就是将咱们已经训练好的前的输出做为输入）。每一层的训练能够是有监督的（例如，将每一步的分类偏差做为目标函数），可是更常常是无监督的（例如自动编码器）。下面就是一种逐层贪婪训练方法的介绍：

Stacked Autoencoders：

栈式自编码神经网络。这节中，咱们将会学习如何将自编码器以贪心分层的方式栈化，从而预训练（或者说初始化）深度神经网络的权重。

关于这个栈式自编码神经网络，其实就是前面说的稀疏自编码神经网络一层一层叠起来。即先训练一个自编码神经网络，获得参数W,b后将原始数据经过W，b转化成由隐藏单元响应组成的向量，假设该向量为A，接着把A做为第二层的输入，继续训练获得第二层的参数W,b。对后面的各层一样采用将前层的输出做为下一层输入的方式依次训练。

在上述全部预训练完成后，再经过一次反响传播，调整全部层的参数。这个过程叫作微调（fine-tuning）。

讲义举了MINIST手写库识别的例子，感受看这个例子就很清楚了：

首先，须要用原始输入x(k)训练第一个自编码器，它可以学习获得原始输入的一阶特征表示 h⁽¹⁾(k)（以下图所示）。

接着，把全部原始数据输入到训练好的自编码器中，获得输出向量h⁽¹⁾(k),而后将此输出向量做为下一个自编码器的输入，来获得二阶特征：

最后，通过几回之后，再用softmax分类器进行分类便可。

这样就获得了一个深度的神经网络结构。例如，叠加两个自编码器的状况：

 

Finetuning：

微调。前面提到了，要使结果更好，最后能够进行一次微调，利用反向传播法对全部层的参数进行一次调整。反向传播前面已经看过了，这里差异不大，直接把讲义上的复制过来了：

 

 

练习：

最后就是练习了。篇幅太长了，写在下篇吧。