自然语言处理(四)神经网络语言模型及词向量

神经网络语言模型 用句子 S S S的概率 p ( S ) p(S) p(S)来定量刻画句子。 统计语言模型是利用概率统计方法来学习参数 p ( w i ∣ w 1 … w i − 1 ) p(w_i|w_1\dots w_{i-1}) p(wi​∣w1​…wi−1​)，神经网络语言模型则通过神经网络学习参数. 统计语言模型的缺点 平滑技术错综复杂且需要回退至低阶，使得该模型无法面向更大的n元文法

>>阅读原文<<