【深度学习】深度学习概念的理解（一）

【深度学习】深度学习的理解（一）

写在最前面的话：设置【深度学习】栏，主要是为了扫盲深度学习的各个知识点，希望通过这种方式来给自己的基础打扎实，从头开始学习！如果有写得不对的地方，请指正！！！谢谢

深度学习在现在已经是非常成熟了，生活的方方面面都可以用上深度学习技术，那么其实什么是深度学习？直观地说，是计算机从经验中学习到知识来理解/解决问题，这里的**“经验”可以理解是深度，“学习”是指经过一种抽象的数学过程，“知识”**跟我们的常识是一样的道路。计算机只有先获取到大量的“常识”（如树叶是绿色，乒乓球比篮球小等）才能以人类的思考方式去解决问题。

如何学习

那么计算机又是如何学习到“常识”的呢？我们是如何将数据里面蕴含的“常识”传递给计算机的呢？其实这些“常识”用我们的语言可以很容易地表述出来，但是要让只会读数字的计算机认识这些“常识”，那么只能通过编码或者特征提取的方式来传递给计算机：

• 编码：主要通过形式化语言硬编码将人类的语言换成计算机语言，使得计算机可以通过逻辑推理的方式学习这些知识；
• 提取特征：从原始数据中提取某种特征/规律来表示知识，这主要涉及机器学习方面的知识。

传统的机器学习属于统计学领域，它非常依赖数据及其表达方式（representation），即如何将数据的某种规律/特征表示出来，举个现代的例子：比如在医院里面，医生给病人诊断，医生需要知道病人的一些信息（病态特征、习惯、发病时间、接触过什么等），这些信息在计算机中称为特征（feature），传统的机器学习有三个大弊端阻止了它的发展：无法确定需要哪些特征（如是需要在哪读书，还是学习成绩？）、无法确定这些特征的方式（是否需要将特征离散化？）、某些信息无法学习（如数据与结果的相关性微小，无法表示的数据等）。

如何表达

计算机学习到的知识又如何表达呢？如何利用知识来解决问题呢？计算机学习到知识是通过数学上的函数或者图像来表示，具体形式是特征空间，由所有的特征向量组成的空间称为特征空间，特征向量表示每个具体的输入，特征空间中的每一个维度对应一种特征。传统的机器学习对于一些高级特征是无法表示，而深度学习的解决方案是采用高级特征用低级特征来表示，即通过组合简单的概念(concept)来构建复杂的概念而计算机可以利用这些知识解决各种分类、预测、优化等问题。

例子

比如在图像识别的认为中，如果直接学习从一堆像素映射到物体是很困难的，深度学习是将这些复杂的映射分解成一系列简单的映射，通过嵌套简单映射来解决问题，每一个映射由模型的不同的层来描述：

• 可见层作为输入：这包含了我们人眼能直观看到的物体
• 第一个隐层：描述了边 (edge) 的概念，可通过比较相邻像素的亮度，可分离出边缘，属于高频信息。
• 第二个隐层：描述了角（corner）和轮廓（contour）的概念，通过识别边的集合能找到角，也属于高频信息。
• 第三个隐层：描述了特定物体的概念，物体是由特定的角、边、等高线集合组成的。

从隐层开始，所表现出来的特征是我们人眼无法识别的变量。

深度学习的另一个典型例子是多层感知机（multilayer perceptron：MLP） 其实多层感知机就是一个（复合）函数，这个（复合）函数的作用是将一组输入值映射到相应的输出值，而（复合）函数是由许多非常简单的函数组成，这里面的每个简单函数都给它的输入值赋予一个新的表示方式。其实，深度学习跟多层感知机运作机制是一样的。

经验–深度

在上面提到，计算机从经验中学习知识，这里的经验可理解为深度。深度学习的深度是可度量的，对不同的学习方式来说，度量的方式也不同：

• 对于编码学习，”深度“可以指代码中执行的顺序指令的数量，也可以视为算法流程图中从输入到输出中最长路径的长度。

  简单地，举个逻辑回归的例子， 给出逻辑回归模型的深度，其中 $y'=\sigma(w^Tx)$y′=σ(wTx)， $\sigma(z)=\frac{1}{1+exp(-z)}$σ(z)=1+exp(−z)1​为sigmoid函数，图的左边是将加法、乘法、sigmoid函数作为基本运算单元，则模型深度为3，而右边是将逻辑回归模型本身作为基本运算单元，则模型深度为1。

• 对于特征学习，“深度”可以是概念图的深度。概念图是抽象的，其实不能具体定义深度是多少，是根据经验推理出来的。比如对于一个面部识别，如果半张脸存在阴影中，那么能明确识别的只有一只眼睛，但是根据脸部经验，应该存在两只眼睛，所以可推理出来还有位置对称的另一只眼睛，此时的概念图可认为只有两层，第一层是眼睛，第二层是脸部，但推理概念图的流程却不止2层，可能推理次数不止一次。

关系

深度学习是属于机器学习，只是它通过专门的嵌套学习方式来表征特征。机器学习是一种实现人工智能的方法，深度学习是一种实现机器学习的技术。它们三者之间的关系如下图：

总结

（锻炼自己的文笔ing，养成总结的好习惯）本文粗略地介绍了什么是深度学习，深度学习的学习方法和表示方法，以及描述了深度学习、机器学习与人工智能的关系。虽然只是大致地介绍了简单的概念，希望自己能坚持学习下去，好好打基础！写得不好，请勿喷，哪里有错欢迎指出~

参考文章
http://www.huaxiaozhuan.com/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/chapters/0_dl_introduction.html