2.一、决策树之信息增益与熵

1、信息增益与熵spa    在信息论中，熵被用来衡量一个随机变量出现的指望值。变量的不肯定性越大，熵也就越大，把它搞清楚所须要的信息量也就越大，熵是整个系统的平均消息量。 信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。因此，信息熵也能够说是系统有序化程度的一个度量。.net  信息熵计算公式是：H(x)=E[I(xi)]=E[ l

>>阅读原文<<