机器学习-决策树和随机森林

信息熵 熵：度量随机变量的确定量：如果变量完全确定则是0，如果变量完全能不确定则是1； 数学期望(mean)：是试验中每次可能结果的概率乘以其结果的总和，它反映随机变量平均取值的大小； 条件熵：在确定的一个或多个条件下，确定另一个信息的熵； 推导过程： 相对熵： 互相息： 总结： 相关熵（KL散度）：可以度量两个随机变量之间对的距离； 决策树学习算法 利用熵来做决策树：就是熵逐渐减小的过程，但是不

>>阅读原文<<