统计自然语言处理书籍阅读心得四

1:困惑度： 我们通常用困惑度（perplexity）来代替交叉熵 衡量语言模型的好坏。同样，语言模型设计的任务就是寻找困惑度最小的模型，使其最接 近真实语言的情况。在自然语言处理中，我们所说的语言模型的困惑度 通常是指语言模型对于测试数据的困惑度。一般情况下将所有数据分成 两部分，一部分作为训练数据，用于估计模型的参数；另一部分作为测 试数据，用于评估语言模型的质量。 2：噪声信道模型 其目标就

>>阅读原文<<