信息熵、信息增益、条件熵基本概念及联系

1、 信息熵：H(X) 描述X携带的信息量。 信息量越大（值变化越多），则越不确定，越不容易被预测。        对于抛硬币问题，每次有2种情况，信息熵为1        对于投骰子问题，每次有6中情况，信息熵为1.75        下面为公式：                   　　其中log2(p)可以理解为p这个需要用几个bit位表示。如p(x1)=1/2, p(x2)=1/4, p(

>>阅读原文<<