决策树构建

信息熵： 生活中的所见所闻，都接触到许许多多的信息，有的信息对我们有用，有的无用。如 “地球是自转的”，这条信息对我们没什么用，因为我们都知道，而且是确确实实是这样的。香农用信息熵的概念来描述信源的不确定度，变量的不确定性越大，熵也就越大。   在某个事件中，如果不发生的概率为0，那么可以确定信息熵为0，当发生的概率为1时，属于确定性事件，同样信息熵为0。只有当发生的概率为0.5 时，不确定程度则

>>阅读原文<<