人工智能(Artificial Intelligence)从二十世纪五十年代初至今已经历过三个时期,分别以下。web
时间段 | 发展时期 | 主流技术 |
---|---|---|
二十世纪五十年代初至七十年代初 | 推理期 | 运用基于符号知识表示的演绎推理技术 |
二十世纪七十年代中期至八十年代 | 知识期 | 基于符号知识表示,经过获取和利用领域知识来创建专家系统 |
二十世纪八十年代至今 | 学习期 | 两大主流技术分别是符号主义学习和基于神经网络的链接主义学习 |
其中,机器学习(Machine Learning)的各个阶段发展历程列表以下。算法
时间段 | 机器学习理论 | 表明性成果 |
二十世纪五十年代初 | 人工智能研究处于推理期 | A. Newell和H. Simon的“逻辑理论家”(Logic Theorist)程序证实了数学原理,以及此后的“通用问题求解”(General Problem Solving)程序。 |
已出现机器学习的相关研究 | 1952年,阿瑟·萨缪尔(Arthur Samuel)在IBM公司研制了一个西洋跳棋程序,这是人工智能下棋问题的由来。 | |
二十世纪五十年代中后期 | 开始出现基于神经网络的“链接主义”(Connectionism)学习 | F. Rosenblatt提出了感知机(Perceptron),但该感知机只能处理线性分类问题,处理不了“异或”逻辑。还有B. Widrow提出的Adaline。 |
二十世纪六七十年代 | 基于逻辑表示的“符号主义”(Symbolism)学习技术蓬勃发展 | P. Winston的结构学习系统,R. S. Michalski的基于逻辑的概括学习系统,以及E. B. Hunt的概念学习系统。 |
以决策理论为基础的学习技术 | ||
强化学习技术 | N. J. Nilson的“学习机器”。 | |
统计学习理论的一些奠定性成果 | 支持向量,VC维,结构风险最小化原则。 | |
二十世纪八十年代至九十年代中期 | 机械学习(死记硬背式学习) 示教学习(从指令中学习) 类比学习(经过观察和发现学习) 概括学习(从样例中学习) |
学习方式分类 |
从样例中学习的主流技术之一:(1)符号主义学习 (2)基于逻辑的学习 |
(1)决策树(decision tree)。 (2)概括逻辑程序设计(Inductive Logic Programming, ILP)具备很强的知识表示能力,能够较容易地表达出复杂的数据关系,但会致使学习过程面临的假设空间太大,复杂度极高,所以,问题规模稍大就难以有效地进行学习。 |
|
从样例中学习的主流技术之二:基于神经网络的链接主义学习 | 1983年,J. J. Hopfield利用神经网络求解“流动推销员问题”这个NP难题。1986年,D. E. Rumelhart等人从新发明了BP算法,BP算法一直是被应用得最普遍的机器学习算法之一。 | |
二十世纪八十年代是机器学习成为一个独立的学科领域,各类机器学习技术百花初绽的时期 | 链接主义学习的最大局限是“试错性”,学习过程涉及大量参数,而参数的设置缺少理论指导,主要靠手工“调参”,参数调节失之毫厘,学习结果可能谬以千里。 | |
二十世纪九十年代中期 | 统计学习(Statistical Learning) | 支持向量机(Support Vector Machine,SVM),核方法(Kernel Methods)。 |
二十一世纪初至今 | 深度学习(Deep Learning) | 深度学习兴起的缘由有二:数据量大,机器计算能力强。 |