信息熵和信息增益的简单理解与计算

信息熵： 信息熵的概念很简单，熵在信息论中代表随机变量不确定的度量。 熵越大，数据的不确定性越高。 熵越小，数据的不确定性越低。 信息熵的公式： 下面的公式就是香农提出的信息熵的公式： H = − ∑ i = 1 k p i l o g ( p i ) H = - \sum_{i=1}^k p_i log(p_i) H=−i=1∑k​pi​log(pi​) 解释一下： 假如一组数据有k类信息，那么

>>阅读原文<<