机器学习_决策树和随机森林

一、 熵 1、信息熵： 度量随机变量不确定性的标准，熵越大，信息量越大，不确定性越高，越混乱。 2、条件熵： X X X已知的情况下， Y Y Y的不确定性。 3、相对熵： 可以度量两个随机变量的距离。（KL散度） 4、互信息： 两个随机变量 X , Y X,Y X,Y的互信息，定义为： X , Y X,Y X,Y的联合分布 P ( X , Y ) P(X,Y) P(X,Y) 与边缘分布的乘积 P

>>阅读原文<<