天然语言处理之数据平滑方法

在天然语言处理中，常常要计算单词序列（句子）出现的几率估计。可是，算法训练的时候，预料库中不可能包含全部可能出现的序列，所以为了防止对训练样本中为出现的新序列几率估计值为零，人们发明了很多能够改善估计新序列出现的几率算法，即数据的平滑。最多见的数据平滑算法包括以下几种：算法 Add-one (Laplace) smoothing微信 Add-k smoothing测试 Backoff回退法优化 I

>>阅读原文<<