信息增益

信息增益           先来定义"信息熵" (information entropy) , 它是度量样本集合纯度最常用的一种指标。假定当前样本集合D 中的第k 类样本所占的比例为  (k = 1,2,3 ... ) , 则 D 的信息熵为                                                                             

>>阅读原文<<