信息（information）、熵（entropy）、信息增益（information gain）、基尼指数（Gini index）的概念

from：http://www.cnblogs.com/fantasy01/p/4581803.html?utm_source=tuicool and参考：周志华《机器学习》 关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，

>>阅读原文<<