决策树学习

 id3　　信息增益

c4.5　　信息增益比

CART　　基尼指数

 

参考  

优缺点：  决策树算法原理 (上)   决策树算法原理 (下)

简略介绍：   [Machine Learning & Algorithm] 决策树与迭代决策树（GBDT）

1.熵的概念

首先，咱们须要熟悉信息论中熵的概念。熵度量了事物的不肯定性，越不肯定的事物，它的熵就越大。具体的，随机变量 X 的熵的表达式以下：

熟悉了一个变量 X 的熵，很容易推广到多个个变量的联合熵，这里给出两个变量 X 和 Y 的联合熵表达式：

有了联合熵，又能够获得条件熵的表达式 H(X|Y)，条件熵相似于条件几率, 它度量了咱们的 X 在知道 Y 之后剩下的不肯定性。表达式以下：