task3-决策树算法梳理

1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 参考：https://zhuanlan.zhihu.com/p/35423404 信息熵：通常用来描述整个随机分布所带来的信息量平均值，更具统计特性。信息熵也叫香农熵，在机器学习中，由于熵的计算是依据样本数据而来，故也叫经验熵。 联合熵：两个随机变量X，Y的联合分布，可以形成联合熵Joint Entropy，用H(X,Y)表示。 条件熵

>>阅读原文<<