几率语言模型 Probabilistic Language Modeling (二) --- 模型估计算法介绍

1. 原因–数据稀疏问题 假设 k 泛指某一事件， N(k) 表示事件 k 观察到的频数，极大似然法使用相对频数做为对事件 k 的几率估计为 p(k)=N(k)N ,在语言模型中，训练语料中大量的事件 N(k)=0 ，这显然没有反映真实状况,这种零值的几率估计会致使语言模型算法的失败。web 2. 解决方法–平滑 给“零几率和低几率的N元语法”指派非零几率。平滑分为打折和回退，打折是指将某个非零n

>>阅读原文<<