数学之美：统计语言模型

一个有意义的句子是由一定顺序的词组成，则一个句子出现的可能性可以使用如下表示： 这是典型的条件概率理论，也就是说当我们知道第一词w1后，要预测下一个w2的概率时是在基于已知词w1的情况下预测的。但是当一个句子很长时，越是后面的词，其条件概率的类型越多，难以估算。因为在这个词前面有n-1个词，这也就是说P(wn|w1,w2…wn-1)的种类由于每个wi都有字典长度个数L的可能性，导致变量空间是有L^

>>阅读原文<<