决策树三种算法比较(ID3、C4.5、CART)

一、ID3算法     D3算法核心是根据 “最大信息熵增益” 原则选择划分当前数据集的最好特征。“信息熵” 在上一篇博客中写过，它是一种信息度量方式，其不确定度越大或者说越混乱，熵就越大。 E n t ( D ) = − ∑ k = 1 ∣ Y ∣ p k log ⁡ 2 p k                  ( 信 息 熵 ) Ent(D)=-\sum_{k=1}^{|Y|} p_k\lo

>>阅读原文<<