田园信息论第二章与概率论重合部分

自信息：由克劳德·香农提出，是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它的定义为：一个随机产生的事件所包含的自信息数量，只与事件发生的概率相关。事件发生的概率越低，在事件真的发生时，接收到的信息中，包含的自信息越大。此外，根据定义，自信息的量度是正的而且是可加的。如果事件 C 是两个独立事件 A 和 B 的交集，那么宣告 C 发生的信息量就等于分别宣告事件 A 和事件 B 的信

>>阅读原文<<