天然语言处理——语言模型(三)

引言 本文主要探讨了如何用困惑度来评估语言模型的好坏，以及统计语言模型中的几种平滑方法。html 评估语言模型 评估语言模型就是判断语言模型的好坏。web 通常使用**困惑度(perplexity)**来评估，它的公式为： P e r p l e x i t y = 2 − ( x ) Perplexity = 2^{-(x)} Perplexity=2−(x) 其中 x x x为平均对数似然。咱

>>阅读原文<<