决策树和随机森林(1)

1.信息熵    (1).熵     熵代表随机分布不确定程度，熵越大，不确定越大。随机变量X熵的定义如下： H ( X ) = − ∑ i = 1 n p ( x i ) l o g   p ( x i ) = − ∫ x p ( x ) l o g   p ( x ) d x H(X)=-\sum_{i=1}^{n}p(x_i)log\,p(x_i)=-\int_{x}p(x)log\,p(x

>>阅读原文<<