自信息量，熵及其性质

一般地，如果一个随机事件有种等可能的结果，那么对其编码恰需要n位二进制数，即n比特来储存消息。 因此，可以把对所有可能消息的最小二进制编码位数近似着作该随机事件的熵，记为H。 对于上面的例子分别有 定义2.3      随机事件,发生概率的对数的相反数定义为该随机事件的自信息量，记作。设的发生概率为，则其自信息为 当，即随机事件，不发生时，定义为无限大；当，即随机事件为确定事件必然发生时，；对于，

>>阅读原文<<