信息、熵、信息增益、基尼指数

信息 信息是用来消除随机不肯定性的东西，放在机器学习的语境里是这样的，每一个类xi的信息为： I表示信息，p(xi)表示指xi的几率web 熵 熵是对随机变量不肯定性的度量，是信息的指望值算法 熵只依赖于随机变量的分布，和其取值没有关系 熵是用来度量不肯定的，因此熵越大，X=xi的不肯定性越大 给了样本集合D后，其经验熵为： k表示有k个分类，|CK|为样本集中属于K类的样本数机器学习 条件熵 在

>>阅读原文<<