【Natural Language Processing】语言模型(Language Modeling)

一、语言模型简介   语言模型用于对特定序列的一系列词汇的出现概率进行计算。一个长度为m的词汇序列{ w1,w2,...,wn }的联合概率被表示为p( w1,w2,...,wn )。那么根据链式规则可以得到： P(S)= p(w1,w2,...,wn)=∏nip(wi|w1,w2,...wi−1)   其中 p(wi|w1,w2,...wi−1) 的计算方法可以为： p(wi|w1,w2,...

>>阅读原文<<