组队学习三：决策树算法梳理

一、信息论基础 1.熵：信息熵代表的是随机变量或整个系统的不确定性，熵越大，随机变量或系统的不确定性就越大。即描述的是有关事件 X X X的所有可能结果的自信息期望值： H ( X ) = − ∑ i = 1 n p i l o g p i H(X)=-\sum\limits_{i=1}^{n}p_{i}logp_{i} H(X)=−i=1∑n​pi​logpi​ 其中n代表事件 X X X的所有

>>阅读原文<<