决策树之ID3算法

本文转载自： https://blog.csdn.net/fly_time2012/article/details/70210725

决策树之ID3算法

1. 决策树的基本认识

决策树是一种依托决策而创建起来的一种树。在机器学习中，决策树是一种预测模型，表明的是一种对象属性与对象值之间的一种映射关系，每个节点表明某个对象，树中的每个分叉路径表明某个可能的属性值，而每个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值。决策树仅有单一输出，若是有多个输出，能够分别创建独立的决策树以处理不一样的输出。接下来说解ID3算法。

2. ID3算法介绍

ID3算法是决策树的一种，它是基于奥卡姆剃刀原理的，即用尽可能用较少的东西作更多的事。ID3算法，即Iterative Dichotomiser 3，迭代二叉树3代，是Ross Quinlan发明的一种决策树算法，这个算法的基础就是上面提到的奥卡姆剃刀原理，越是小型的决策树越优于大的决策树，尽管如此，也不老是生成最小的树型结构，而是一个启发式算法。

在信息论中，指望信息越小，那么信息增益就越大，从而纯度就越高。ID3算法的核心思想就是以信息增益来度量属性的选择，选择分裂后信息增益最大的属性进行分裂。该算法采用自顶向下的贪婪搜索遍历可能的决策空间。

3. 信息熵与信息增益

在信息增益中，重要性的衡量标准就是看特征可以为分类系统带来多少信息，带来的信息越多，该特征越重要。在认识信息增益以前，先来看看信息熵的定义

熵这个概念最先起源于物理学，在物理学中是用来度量一个热力学系统的无序程度，而在信息学里面，熵是对不肯定性的度量。在1948年，香农引入了信息熵，将其定义为离散随机事件出现的几率，一个系统越是有序，信息熵就越低，反之一个系统越是混乱，它的信息熵就越高。因此信息熵能够被认为是系统有序化程度的一个度量。

接下来以天气预报的例子来讲明。下面是描述天气数据表，学习目标是play或者not play。

能够看出，一共14个样例，包括9个正例和5个负例。那么当前信息的熵计算以下

在决策树分类问题中，信息增益就是决策树在进行属性选择划分前和划分后信息的差值。假设利用属性Outlook来分类，那么以下图

划分后，数据被分为三部分了，那么各个分支的信息熵计算以下

那么划分后的信息熵为


在决策树的每个非叶子结点划分以前，先计算每个属性所带来的信息增益，选择最大信息增益的属性来划分，由于信息增益越大，区分样本的能力就越强，越具备表明性，很显然这是一种自顶向下的贪心策略。以上就是ID3算法的核心思想。

更多案例请关注“思享会Club”公众号或者关注思享会博客：http://gkhelp.cn/