机器学习自学之路-决策树 算法选择：三种算法优缺点比较（ID三、C4.五、CART）

ID3 D3算法十分简单，核心是根据“最大信息熵增益”原则选择划分当前数据集的最好特征，信息熵是信息论里面的概念，是信息的度量方式，不肯定度越大或者说越混乱，熵就越大。在创建决策树的过程当中，根据特征属性划分数据，使得本来“混乱”的数据的熵(混乱度)减小，按照不一样特征划分数据熵减小的程度会不同。在ID3中选择熵减小程度最大的特征来划分数据（贪心），也就是“最大信息熵增益”原则。web 同时这是最

>>阅读原文<<