深度学习算法的几个难点

http://www.36dsj.com/archives/19932

 

深度学习算法的几个难点

•  小六子
•  2014-12-31 14:40:51
•  算法
•  评论(1)
•  

一、局部最优问题。

深度学习算法的目标函数，几乎全都是非凸的。而目前寻找最优解的方法，都是基于梯度降低的。稍微有点背景知识的人都知道，梯度降低方法是解决不了非凸问题的。所以，若是找到最优解，将是深度学习领域，很是值得研究的课题。

andrew在google的工做，也就是那只猫，其实训练过程是让人很费解的。为了缩短训练时间，项目组采用了分布式训练的方式。采用了1000台计算机，在不一样的计算机上存储不一样的训练数据，不一样的训练服务器经过参数服务器进行参数的交换。训练过程开始后，全部的训练计算机从参数服务器更新当前参数，而后利用当前参数以及本机器上的训练数据，计算获得当前的梯度，经过贪婪式方法，训练到不能再训练为止，而后将参数的更新量提交给服务器，再获取新的参数进行更新。

在这个过程当中，出现了不一样机器在同步时间上的一个大问题。具体阐述以下：梯度降低这种方法，在计算梯度的时候，必定要知道当前参数的具体值，梯度是针对某一个具体的参数值才有意义的。可是，因为在这个系统中，计算机很是多，当计算机A从服务器上得到参数值后，完成梯度的计算获得步进量的时候，可能在它提交结果以前，计算机B已经修改了参数服务器上的参数了。也就是说，A所获得的步进量，并非针对当前的参数值的。

论文中，做者注意到了这个问题，可是故意不去理会，结果训练结果竟然不错。做者的解释是：这是一种歪打正着的现象。

为何可以歪打正着呢？有多是这样的：非凸问题，原本就不是梯度降低法可以解决的。若是不存在同步难题，那么随着训练的深刻，结果确定会收敛到某一个局部最优解上面去。而如今这种同步问题，刚好可以有助于跳出局部最优解。所以最终的训练结果还算不错。

做者并无证实，这种方式，对于寻找全局最优必定是有帮助的。对于最终的结果是否必定是经验最优的，也没有证实。所以我感受，深度学习里面，这种超高维参数的最优结果的寻优，是一个很值得深刻研究的问题。它对于最终的效果也确实影响很大。

二、内存消耗巨大，计算复杂。

内存消耗巨大和计算复杂体如今两个方面。（1）训练过程。（2）检测过程。

这两个过程的计算复杂，根本缘由都是庞大的参数规模形成的。好比google的这个项目，每个位置都用到了8个模版，每个像素，这8个模版都是不一样的，所以致使最后的模版总数很大，因此训练和检测都很慢。固然，这种模版的设计法，让人很差理解，为何不一样的像素位置，模版彻底不一样。我仍是支持之前的卷积神经网络里面的思想，不一样位置的模版都是同样的，但没一个位置，模版数量就远不止8个了。这样的好处是，内存空间中，总的模板数降低了；但缺点是，计算更复杂了。

所以，若是可以找到一个好的方法，可以有效的较低计算复杂度，将是颇有意义的。（好比某个邻域内若是方差极小，其实根本就不必计算了，直接赋0.）

三、人脑机理还有不少没用上。

深度学习模拟的是人脑的其中一个很小的方面，就是：深度结构，以及稀疏性。

但事实上，人脑是至关复杂滴。关于视觉注意机制、多分辨率特性、联想、心理暗示等功能，目前根本就没有太多的模拟。因此神经解剖学对于人工智能的影响应该是蛮大的。未来要想掀起机器智能的另外一个研究高潮，估计还得继续借鉴神经解剖学。

四、人为设计模版的可行性。

一直在想，为何第一层用于检测角点和边缘这种简单特征的模版，必定须要经过无监督训练获得，若是人为实现模拟的话，可否也获得较为理想的结果呢？

从神经解剖学的成果上来看，人脑的v1区和v2区，神经细胞确实是按照规律排列的。并且都是能够人为设计的。并且，一个让人怀疑的地方就是，v1区和v2区的神经细胞，是先天发育好的，仍是后天训练出来的？若是是先天的，那就是说，这种模版是能够人为设计的。

五、代价函数的设计方法。

代价函数的设计，在初学者看来，是很奇怪的。代价函数的设计，直接影响到最终的模版训练结果，能够说是深度学习中最核心的模块。

从目前已经发表的论文来看，一是考虑重构偏差，二是加入某种惩罚项。惩罚项的设计有多种模式，有考虑一阶范式的，有考虑二阶范式的，各类设计可谓千奇百怪。有博文上讲到，惩罚项的做用是为了防止过拟合，但也有博文的观点是，惩罚项是为了保证稀疏性。（感受过拟合与稀疏性是否存在某种内在联系。）

固然，代价函数的设计方法，目前还在不断探索，感受这是一个能够发论文的点。

六、整个神经网络系统的设计。

神经网络的设计方法，包含了研究人员对人脑的理解方式。CNN、RBM，以及andrew项目组设计的变态网络，都各有各的特点。要把整个网络框架设计好，仍是比较须要经验的，也是至关费脑力的。固然，这是整个领域最有研究价值的模块。

做者：denghp83

End.