决策树--熵(Entropy)，互信息(Mutual Info)

互信息公式：g(D,A) = H(D) - H(D|A) 其中H(D)为熵，也叫经验熵，香农熵。H(D|A)是指在A条件下的熵，即条件熵。 H(D|A) = sum Pi * H(D|A=Ai), i=1,…,n Pi为Ai条件出现的几率，H(D|A=Ai)为Ai条件的熵。web 这里写代码片 def

>>阅读原文<<