决策树相关公式

ID3: 使用信息增益或者互信息进行特征选择。取值多的属性，能让数据更纯，信息增益更大。 C4.5: 信息增益率 CART: 基尼指数 属性的信息增益或者基尼指数越大，就是属性对样本的熵减少能力越强，这个属性使得数据由不确定性变成确定性的能力强。 经验熵： 经验条件熵： 信息增益： 信息增益率： 基尼系数： 将f(x)=-lnx在x=1处一阶展开，忽略高阶无穷小，得到f(x)≈1-x 给定M个样本

>>阅读原文<<