数学之美：信息的度量和作用 KL散度 自信息 熵 相对熵 KL divergence entropy

当上述公式中概率相等时会推出，H刚好等于5比特。 自信息： 一条信息的信息量与该信息的不确定性有关。如果想要搞懂一件非常不清楚的事，就需要了解大量的信息，相反如果一件事我们已经了如指掌，那就不需要太多的信息来了解它。香农认为，信息可以消除我们对于事物认识上的不确定性，越不可能发生的事情一旦发生就可以消除较大的不确定性，所以应当含有较多的信息。由此，香农认为，应当用事件的发生概率确定该事件所含的信息

>>阅读原文<<