统计语言模型与NLP算法设计

什么是语言模型呢？ 简单的说，统计语言模型是用来计算句子中某种语言模式出现概率的统计模型。一般自然语言的统计单位是句子，所以也可以看做句子的概率模型。假设W=(w1,w2,....,wn)为一个句子，这个句子有n个词，也就是n个词汇按顺序构成的字符序列，这里表示为W1n,利用贝叶斯公式进行链式分解，w1,w1,....wn的联合概率为：                          我们需要设

>>阅读原文<<