信息熵与编码定理

惊奇度与信息量 定性描述 惊奇度：一个事件的惊奇度是指该事件发生时我们所感到的惊奇程度 信息量：一条信息的信息量是指该信息所含信息的多少。一条信息越是让我们感到惊奇，它所含信息量就越大 对于一个掷骰子的试验，假设E代表掷出点数为偶数（概率为1/2），我们对于事件E发生的惊奇程度并不大，但是当E代表掷出点数为6（概率为1/6），我们的惊奇程度就会很大。同样的我们会认为，“明天太阳会从东边升起”这句话

>>阅读原文<<