互信息——事件相关性度量

延续上一次对熵的理解，今天来看看互信息。 先说概念：互信息（Mutual Information）也叫转移信息（transinformation），是两个随机变量间相互依赖性的量度。 顾名思义，互信息就是两件事为彼此提供的信息。当我知道了事件 A 之后，事件 B 的确定性增加多少，也就是让事件 B 减少多少的信息量。上一篇文章当中我们说一件事的信息量（或熵）就是你想知道这件事的发生需要多少信息。那

>>阅读原文<<