分词学习(3)，基于ngram语言模型的n元分词

           最大概率分词中，认为每个词的概率都是独立的，但是有一部分词，其切分却与前一个词密切相关，特别是中文分词中更为明显，英文中就是如上一篇文章中的“tositdown”的例子。          这样就可以使用2元模型，就是如一个分割形式"ab cde f"的概率， 如果按照1-gram计算：P(ab cde f) = P(ab)*P(cde)*P(f) 如果按照2-gram计算：

>>阅读原文<<