信息熵、条件熵、信息增益

信息增益描述了一个特征带来的信息量的多少，往往用于特征选择 信息增益 = 信息熵 - 条件熵 一个特征往往会使一个随机变量Y的信息量减少，减少的部分就是信息增益 一个例子 如图所示，目标值是：playtennis，也就是是否打球 有四个特征：天气、温度、湿度、风 信息熵 信息熵的公式： H(X)=−∑i=1np(xi)logp(xi) 以上图为例，设是否打球这一随机变量为Y，则 p(y=yes)=

>>阅读原文<<