信息、熵、信息增益

信息、熵、信息增益是在决策树中用到的概念，在利用特征进行分类时，会考虑特征选取的顺序。 1. 信息 香农： 信息是用来消除随机不确定性的东西。 如果带分类的事物集合可以划分为多个类别中，则某个类 x i x_i xi​的信息定义如下： I ( X = x i ) = − l o g 2 p ( x i ) I(X=x_i)=-log_2 p (x_i) I(X=xi​)=−log2​p(xi​)

>>阅读原文<<