信息论-Shannon entropy-Kullback-Leibler (KL) divergence-cross-entropy

信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化。 信息论的基本想法是一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。消息说:‘‘今天早上太阳升起’’ 信息量是如此之少以至于没有必要发送,但一条消息说:‘‘今天早上有日食’’ 信息量就很丰富。 熵由 (p − 1) log(1 − p) − p log p 给出。当 p 接近 0 时,分布几乎是确

>>阅读原文<<