NLP基础之语言模型及其评估方法

 1. Noisy Channel Model   2. 语言模型  即判断一句话是不是人话。是计算上文noisy channel model 模型中的P(text)。方法是用markov假设。即一个词出现概率只与它前边的一个词有关，与再往前的词无关（bigram） 2.1 Markov Assumption(马尔科夫假设) 与 Unigram（词相互独立）、Bigram（每个词只与前1个词相关联

>>阅读原文<<