任务三 决策树算法梳理

1.信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 1）熵 2）联合熵与条件熵 上面定义了单个随机变量的熵。现在，将定义推广到两个随机变量的情形。由于可将（X,Y）视为单个向量，所以其定义其实并无新鲜之处。 3）信息增益 在已知A的情况下，随机变量D的不确定性的减少程度，也就是在我们知道A的情况下获得了多少信息。如果D是数据类别的随机变量，而A是数据某个特征的随机变量，可以想见使得信息增益

>>阅读原文<<