信息量与熵

世界杯决赛的两支球队中，哪支球队得到了冠军？在对球队实力没有任何了解的状况下，每支球队夺冠的几率都是1/2，因此谁得到冠军这条信息的信息量是 - log2 1/2 = 1 bit。若是信息是四强中的球队谁得到了冠军，它的信息量是 - log2 1/4 = 2 bit。 其实这正好对应了计算机对数字的表示，若是用二进制表示，每一位出现0和1的几率都是1/2，因此每一位的信息量是1bit。若是用十六进

>>阅读原文<<