基尼系数、熵、信息增益、信息增益率

熵 熵是事件不确定性的度量，如果事件无不确定性，则熵为0，不确定性越大，熵越大 条件熵 在一个条件下，随机变量的不确定性 信息增益 信息增益 = 熵 - 条件熵 表示在一个条件下，信息不确定性减少的程度 缺点：信息增益偏向取值较多的特征 信息增益率 本质：是在信息增益的基础之上乘上一个惩罚参数。特征个数较多时，惩罚参数较小；特征个数较少时，惩罚参数较大。 惩罚参数：数据集D以特征A作为随机变量的熵

>>阅读原文<<