决策树相关的一些概念

  信息量 原则： 某事件发生的概率小，则该事件的信息量大。 如果两个事件X和Y独立，即p(xy)=p(x)p(y) ，假定X和Y的信息量分别为h(X)和h(Y)，则二者同时发生的信息量应该为h(XY)=h(X)+h(Y)。 定义随机变量X的概率分布为p(x)，从而定义X信息量：       熵(信息熵) 对随机事件的信息量求期望，得熵的定义：   注：底数是2时，单位是bit；若底数是e，单位是

>>阅读原文<<