树类算法之---决策树Cart树Gini系数就算原理。

1.介绍 ID3树与CART树的区别： ID3算法中，选择的是信息增益来进行特征选择，信息增益大的特征优先选择。 而在C4.5中，选择的是信息增益比来选择特征，以减小信息增益容易选择特征值多的特征的缺点。 可是不管是ID3仍是C4.5，都是基于熵的模型，里面会涉及到大量的对数运算，能不能简化一下？ GINI系数的计算公式： 假设有数据集D，定义GINI指数： G I N I ( D ) = &Th

>>阅读原文<<