论文阅读（2013-1）----深度学习的昨天，今天和明天

　　这是针对当下比较热门的深度学习（DL）的一篇综述。机器学习是人工只能领域的一个重要学科。

　　什么是机器学习？机器学习就是经过算法，使得机器能从大量历史数据中学习规律，从而对新的样本作出智能识别或者对将来作出预测。

　　机器学习的两次浪潮

　　（1）浅层学习。1980年代，反向传播算法（BP）的发明，给机器学习带来了但愿，掀起了基于统计的机器学习浪潮，这种基于统计的机器学习方法对过去基于人工规则的系统，在不少方面具备优越性。1990年代，各类各样的浅层机器学习模型相继被提出。好比支持向量机，Boosting，最大熵等，这些模型能够当作带有一层隐层节点（SVM，Boosting）或没有隐层节点（LR）。2000年以来，互联网飞速发展，对大数据的智能分析和预测提出了巨大需求，浅层学习模型取得了巨大成功，成功的应用好比搜索广告系统的广告点击率预估，网页搜索排序，垃圾邮件过滤，推荐系统等。

　　（2）深度学习。2006年多伦多教授Hinton在《科学》上发表一篇文章，开启深度学习的在学术界和工业界的浪潮，核心内容包括：a）不少隐层人工神经网络具备优异的特征学习能力，学习到的特征对数据有更本质的刻画能力。b）深度神经网络训练上的难度，能够经过逐层初始化来有效克服。

　　大数据与深度学习

　　（1）在不少大师据应用中，最简单的线性模型获得大量使用，若是运用深度学习，可能挖掘更多有价值的东西。

　　（2）浅层模型的一个重要特色是，靠人工经验来抽取样本的特征，强调模型负责分类与预测。特征好坏决定了整个系统的瓶颈。

　　（3）深度学习的实质，是经过构建具备不少隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而提高分类和预测的准确性。

　　深度学习的应用

　　（1）语音识别。语音识别长久以来，大部分采用混合高斯模型（GMM）。适合海量数据训练，可是这种模型本质也是浅层网络建模，不可以描述特征的状态空间分布，不鞥你充分描述特征之间的相关性。同时是回忆中最大似然几率建模。

　　（2）图像识别。

　　（3）天然语言处理。

　　（4）搜索广告CTR预估。

 

　　附笑话一则：论文导师给了个公共邮箱。。。说密码是：我生日。。。底下全体晕死。。。老师特不屑的说，我生日大家都不知道。。。而后写下：woshengri......