统计自然语言处理书籍阅读心得三

1.期望和方差： 期望表示为 方差表示为 2.熵： 熵的定义为：如果X是一个离散型随机变量，取值空间为R，其概率分布为 p（x）＝P（X＝x），x∈R。那么，X的熵H（X）定义为式（2-22）： 熵又称为自信息（self-information），可以视为描述一个随机变量 的不确定性的数量。它表示信源X每发一个符号（不论发什么符号）所 提供的平均信息量［姜丹，2001］。一个随机变量的熵越大，它的

>>阅读原文<<