(三)决策树算法梳理

1、信息论基础（熵、联合熵、条件熵、信息增益、阻尼不纯度） 熵：自信息的数学期望， H ( X ) = E ( l o g 1 P ( a i ) ) = − ∑ i = 1 q P ( a i ) l o g P ( a i ) H(X) = E(log\frac{1}{P(a_i)})=-\sum_{i=1}^{q}P(a_i)logP(a_i) H(X)=E(logP(ai​)1​)=−∑i

>>阅读原文<<