自然语言处理基础(4)--数据平滑技术

        n元语法模型中,在统计结果中出现了零概率事件反映语言的规律性,即这种现象本来就不该出现,但更多的时候是由于语言模型的训练文本T的规模以及其分布存在着一定的局限性和片面性。这就是所谓的“数据稀疏”问题。         所谓“数据平滑技术”,是指为了产生更准确的概率来调整最大似然估计的技术,基本思想就是提高低概率(如零概率),降低低概率,尽量使概率分布趋于平均。      1.Lap
相关文章
相关标签/搜索