一文看懂决策树 - Decision tree（3个步骤+3种典型算法+10个优缺点）

本文首发自产品经理的人工智能学习库 easyai.tech

原文地址：《一文看懂决策树 - Decision tree（3个步骤+3种典型算法+10个优缺点）》

决策树是一种逻辑简单的机器学习算法，它是一种树形结构，因此叫决策树。

本文将介绍决策树的基本概念、决策树学习的 3 个步骤、3 种典型的决策树算法、决策树的 10 个优缺点。

什么是决策树？

决策树是一种解决分类问题的算法，想要了解分类问题和回归问题，能够看这里《监督学习的2个任务：回归、分类》。

决策树算法采用树形结构，使用层层推理来实现最终的分类。决策树由下面几种元素构成：

• 根节点：包含样本的全集
• 内部节点：对应特征属性测试
• 叶节点：表明决策的结果

预测时，在树的内部节点处用某一属性值进行判断，根据判断结果决定进入哪一个分支节点，直到到达叶节点处，获得分类结果。

这是一种基于 if-then-else 规则的有监督学习算法，决策树的这些规则经过训练获得，而不是人工制定的。

决策树是最简单的机器学习算法，它易于实现，可解释性强，彻底符合人类的直观思惟，有着普遍的应用。

举个栗子：

上面的说法过于抽象，下面来看一个实际的例子。银行要用机器学习算法来肯定是否给客户发放贷款，为此须要考察客户的年收入，是否有房产这两个指标。领导安排你实现这个算法，你想到了最简单的线性模型，很快就完成了这个任务。

首先判断客户的年收入指标。若是大于20万，能够贷款；不然继续判断。而后判断客户是否有房产。若是有房产，能够贷款；不然不能贷款。

这个例子的决策树以下图所示：

决策树学习的 3 个步骤

特征选择

特征选择决定了使用哪些特征来作判断。在训练数据集中，每一个样本的属性可能有不少个，不一样属性的做用有大有小。于是特征选择的做用就是筛选出跟分类结果相关性较高的特征，也就是分类能力较强的特征。

在特征选择中一般使用的准则是：信息增益。

决策树生成

选择好特征后，就从根节点触发，对节点计算全部特征的信息增益，选择信息增益最大的特征做为节点特征，根据该特征的不一样取值创建子节点；对每一个子节点使用相同的方式生成新的子节点，直到信息增益很小或者没有特征能够选择为止。

决策树剪枝

剪枝的主要目的是对抗「过拟合」，经过主动去掉部分分支来下降过拟合的风险。

3 种典型的决策树算法

ID3 算法

ID3 是最先提出的决策树算法，他就是利用信息增益来选择特征的。

C4.5 算法

他是 ID3 的改进版，他不是直接使用信息增益，而是引入“信息增益比”指标做为特征的选择依据。

CART（Classification and Regression Tree）

这种算法便可以用于分类，也能够用于回归问题。CART 算法使用了基尼系数取代了信息熵模型。

决策树的优缺点

优势

• 决策树易于理解和解释，能够可视化分析，容易提取出规则；
• 能够同时处理标称型和数值型数据；
• 比较适合处理有缺失属性的样本；
• 可以处理不相关的特征；
• 测试数据集时，运行速度比较快；
• 在相对短的时间内可以对大型数据源作出可行且效果良好的结果。

缺点

• 容易发生过拟合（随机森林能够很大程度上减小过拟合）；
• 容易忽略数据集中属性的相互关联；
• 对于那些各种别样本数量不一致的数据，在决策树中，进行属性划分时，不一样的断定准则会带来不一样的属性选择倾向；信息增益准则对可取数目较多的属性有所偏好（典型表明ID3算法），而增益率准则（CART）则对可取数目较少的属性有所偏好，但CART进行属性划分时候再也不简单地直接利用增益率尽心划分，而是采用一种启发式规则）（只要是使用了信息增益，都有这个缺点，如RF）。
• ID3算法计算信息增益时结果偏向数值比较多的特征。