信息论知识：互信息、交叉熵、KL散度

信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。消息说：‘‘今天早上太阳升起’’ 信息量是如此之少以至于没有必要发送，但一条消息说：‘‘今天早上有日食’’ 信息量就很丰富。 我们想要通过这种基本想法来量化信息。定义三个性质 非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件应该没有信息量。 较不可能发生的事件具有更高的信息量。 独立事

>>阅读原文<<