Machine Learning

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及几率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，从新组织已有的知识结构使之不断改善自身的性能。

它是人工智能的核心，是使计算机具备智能的根本途径，其应用遍布人工智能的各个领域，它主要使用概括、综合而不是演绎。

基于学习策略的分类

1）机械学习 (Rote learning)

2）示教学习 (Learning from instruction或Learning by being told)

3）演绎学习 (Learning by deduction)

4）类比学习 (Learning by analogy)

利用二个不一样领域（源域、目标域）中的知识类似性，能够经过类比，从源域的知识（包括类似的特征和其它性质）推导出目标域的相应知识，从而实现学习。类比学习系统可使一个已有的计算机应用系统转变为适应于新的领域，来完成原先没有设计的相相似的功能。

类比学习须要比上述三种学习方式更多的推理。它通常要求先从知识源（源域）中检索出可用的知识，再将其转换成新的形式，用到新的情况（目标域）中去。类比学习在人类科学技术发展史上起着重要做用，许多科学发现就是经过类比获得的。例如著名的卢瑟福类比就是经过将原子结构（目标域）同太阳系（源域）做类比，揭示了原子结构的奥秘。

5）基于解释的学习 (Explanation-based learning, EBL)

学生根据教师提供的目标概念、该概念的一个例子、领域理论及可操做准则，首先构造一个解释来讲明为什该例子知足目标概念，而后将解释推广为目标概念的一个知足可操做准则的充分条件。EBL已被普遍应用于知识库求精和改善系统的性能。

著名的EBL系统有迪乔恩（G.DeJong）的GENESIS,米切尔（T.Mitchell）的LEXII和LEAP, 以及明顿（S.Minton）等的PRODIGY。

6）概括学习 (Learning from induction)

概括学习是由教师或环境提供某概念的一些实例或反例，让学生经过概括推理得出该概念的通常描述。这种学习的推理工做量远多于示教学习和演绎学习，由于环境并不提供通常性概念描述（如公理）。从某种程度上说，概括学习的推理量也比类比学习大，由于没有一个相似的概念能够做为"源概念"加以取用。概括学习是最基本的，发展也较为成熟的学习方法，在人工智能领域中已经获得普遍的研究和应用。

基于所获取知识的表示形式分类　

学习系统获取的知识可能有：行为规则、物理对象的描述、问题求解策略、各类分类及其它用于任务实现的知识类型。

对于学习中获取的知识，主要有如下一些表示形式：

1）代数表达式参数

学习的目标是调节一个固定函数形式的代数表达式参数或系数来达到一个理想的性能。

2）决策树

用决策树来划分物体的类属，树中每一内部节点对应一个物体属性，而每一边对应于这些属性的可选值，树的叶节点则对应于物体的每一个基本分类。

3）形式文法

在识别一个特定语言的学习中，经过对该语言的一系列表达式进行概括，造成该语言的形式文法。

4）产生式规则

产生式规则表示为条件—动做对，已被极为普遍地使用。学习系统中的学习行为主要是：生成、泛化、特化（Specialization）或合成产生式规则。

5）形式逻辑表达式

形式逻辑表达式的基本成分是命题、谓词、变量、约束变量范围的语句，及嵌入的逻辑表达式。

6）图和网络

有的系统采用图匹配和图转换方案来有效地比较和索引知识。

7）框架和模式（schema）

每一个框架包含一组槽，用于描述事物（概念和个体）的各个方面。

8）计算机程序和其它的过程编码

获取这种形式的知识，目的在于取得一种能实现特定过程的能力，而不是为了推断该过程的内部结构。

9）神经网络

这主要用在联接学习中。学习所获取的知识，最后概括为一个神经网络。

10）多种表示形式的组合

有时一个学习系统中获取的知识须要综合应用上述几种知识表示形式。

根据表示的精细程度，可将知识表示形式分为两大类：泛化程度高的粗粒度符号表示、??泛化程度低的精粒度亚符号(sub-symbolic)表示。像决策树、形式文法、产生式规则、形式逻辑表达式、框架和模式等属于符号表示类；而代数表达式参数、图和网络、神经网络等则属亚符号表示类。

按应用领域分类　

最主要的应用领域有：专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、天然语言理解、机器人和博弈等领域。

从机器学习的执行部分所反映的任务类型上看，大部分的应用研究领域基本上集中于如下两个范畴：分类和问题求解。

（1）分类任务要求系统依据已知的分类知识对输入的未知模式（该模式的描述）做分析，以肯定输入模式的类属。相应的学习目标就是学习用于分类的准则（如分类规则）。

（2）问题求解任务要求对于给定的目标状态,??寻找一个将当前状态转换为目标状态的动做序列；机器学习在这一领域的研究工做大部分集中于经过学习来获取能提升问题求解效率的知识（如搜索控制知识，启发式知识等）。

 

综合分类

综合考虑各类学习方法出现的历史渊源、知识表示、推理策略、结果评估的类似性、研究人员交流的相对集中性以及应用领域等诸因素。将机器学习方法[1]  区分为如下六类：

1）经验性概括学习 (empirical inductive learning)

经验性概括学习采用一些数据密集的经验方法（如版本空间法、ID3法，定律发现方法）对例子进行概括学习。其例子和学习结果通常都采用属性、谓词、关系等符号表示。它至关于基于学习策略分类中的概括学习，但扣除联接学习、遗传算法、增强学习的部分。

2）分析学习（analytic learning）

分析学习方法是从一个或少数几个实例出发，运用领域知识进行分析。其主要特征为：

·推理策略主要是演绎，而非概括；

·使用过去的问题求解经验（实例）指导新的问题求解，或产生能更有效地运用领域知识的搜索控制规则。

分析学习的目标是改善系统的性能，而不是新的概念描述。分析学习包括应用解释学习、演绎学习、多级结构组块以及宏操做学习等技术。

3）类比学习

它至关于基于学习策略分类中的类比学习。在这一类型的学习中比较引人注目的研究是经过与过去经历的具体事例做类比来学习，称为基于范例的学习(case_based learning)，或简称范例学习。

4）遗传算法（genetic algorithm）

遗传算法模拟生物繁殖的突变、交换和达尔文的天然选择（在每一生态环境中适者生存）。它把问题可能的解编码为一个向量，称为个体，向量的每个元素称为基因，并利用目标函数（相应于天然选择标准）对群体（个体的集合）中的每个个体进行评价，根据评价值（适应度）对个体进行选择、交换、变异等遗传操做，从而获得新的群体。遗传算法适用于很是复杂和困难的环境，好比，带有大量噪声和无关数据、事物不断更新、问题目标不能明显和精确地定义，以及经过很长的执行过程才能肯定当前行为的价值等。同神经网络同样，遗传算法的研究已经发展为人工智能的一个独立分支，其表明人物为霍勒德（J.H.Holland）。

5）联接学习

典型的联接模型实现为人工神经网络，其由称为神经元的一些简单计算单元以及单元间的加权联接组成。

6）加强学习（reinforcement learning）

加强学习的特色是经过与环境的试探性（trial and error）交互来肯定和优化动做的选择，以实现所谓的序列决策任务。在这种任务中，学习机制经过选择并执行动做，致使系统状态的变化，并有可能获得某种强化信号（当即回报），从而实现与环境的交互。强化信号就是对系统行为的一种标量化的奖惩。系统学习的目标是寻找一个合适的动做选择策略，即在任一给定的状态下选择哪一种动做的方法，使产生的动做序列可得到某种最优的结果（如累计当即回报最大）。

在综合分类中,经验概括学习、遗传算法、联接学习和加强学习均属于概括学习，其中经验概括学习采用符号表示方式，而遗传算法、联接学习和增强学习则采用亚符号表示方式；分析学习属于演绎学习。

实际上，类比策略可当作是概括和演绎策略的综合。于是最基本的学习策略只有概括和演绎。

从学习内容的角度看，采用概括策略的学习因为是对输入进行概括，所学习的知识显然超过原有系统知识库所能蕴涵的范围,所学结果改变了系统的知识演绎闭包, 于是这种类型的学习又可称为知识级学习;而采用演绎策略的学习尽管所学的知识能提升系统的效率，但仍能被原有系统的知识库所蕴涵,即所学的知识未能改变系统的演绎闭包,于是这种类型的学习又被称为符号级学习。

 

学习形式分类

1）监督学习(supervised learning)

监督学习，即在机械学习过程当中提供对错指示。通常实在是数据组中包含最终结果（0，1）。经过算法让机器自我减小偏差。这一类学习主要应用于分类和预测 (regression & classify)。监督学习从给定的训练数据集中学习出一个函数，当新的数据到来时，能够根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也能够说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类。

2）非监督学习(unsupervised learning)

非监督学习又称概括性学习（clustering）利用K方式(Kmeans)，创建中心（centriole），经过循环和递减运算(iteration&descent)来减少偏差，达到分类的目的。