决策树算法梳理

1、 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 熵：熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度，在信息论里面，熵是对不确定性的测量。 联合熵：联合熵就是度量一个联合分布的随机系统的不确定度。分布为p(x,y)的一对随机变量（X,Y），其联合熵定义为： 条件熵：定义事件 X 与 Y 分别取 xi 和 yj 时的条件熵为 其中p(xi, yj)为 X = xi 且 Y =

>>阅读原文<<