决策树中熵的理解

决策树是用于分类的统计模型。web 熵的概念 熵是来衡量随机变量的不肯定性的。Shannon entropy来定量化了这种不肯定性。 有如下公式 机器学习 H(x)=∑iP(xi)I(xi)=−∑iP(xi)logbP(xi) 接下来经过例子来讲明。 好比投硬币，正面和反面的几率都是1/2，在这种状况下，一个比特就能够来传递每一次的结果。投了4次硬币，2次正面，2次反面。根据香农公式那么熵就为E1

>>阅读原文<<