信息熵、gini、信息增益

样本集合的不确定性描述：信息熵、gini 信息熵在x=1处一阶泰勒展开就是基尼指数 熵   gini f(x)=lnx=ln[1+(x-1)]=(x-1)-1/2(x-1)^2+1/3(x-1)^3-1/5(x-1)^5 忽略掉高次项，可以得到f(x)≈x-1。这样 -pklogpk≈pk(1-pk)了，就更可以看到基尼指数与熵很近似了。 1、信息增益 2、gini 选择特征是选择条件基尼系数小

>>阅读原文<<