统计天然语言处理——信息论基础

信息是个至关宽泛的概念，很难用一个简单的定义将其彻底准确的把握。然而，对于任何一个几率分布，能够定义一个称为熵(entropy)的量，它具备许多特性符合度量信息的直观要求。这个概念能够推广到互信息(mutual information)，互信息是一种测度，用来度量一个随机变量包含另外一个随机变量的信息量。熵刚好变成一个随机变量的自信息。相对熵(relative entropy)是个更普遍的量，它是

>>阅读原文<<