汉语中文NLP自然语言处理学习笔记——基础原理NLP中的概率图模型

1--信息熵 1.信息熵 信息熵被定义为对平均不确定性的度量。一个离散随机变量X的信息熵H(X)定义为： 信息熵的本质是信息量的期望。 信息熵是对随机变量不确定性的度量。随机变量X的熵越大，说明它的不确定性也越大。若随机变量退化为定值，则熵为0。 平均分布是“最不确定”的分布。 2.互信息、联合熵、条件熵 1)互信息： 定义x的后验概率与先验概率比值的对数为y对x的互信息量。公式如下： 互信息的性

>>阅读原文<<