NLP《语言模型（三）-- 基于循环神经网络的RNNLM语言模型》

RNNLM，鉴于RNN天生的结构就存在有长期依赖，特别适合于序列的数据，解决了NNLM的不能获得长期依赖的问题（窗口固定导致），RNNLM还能通过BiRNN获得任意上下文的依赖。下面我们学习。本文仅仅学习理论知识，操作实践留给后面的博文。 一：RNNLM 是一个根据上下文，预测下一个词语概率的模型。 这个模型更加贴近于语言模型的定义，得到语言模型中每个因数参数的计算。 图示如下： 一般训练的时候，

>>阅读原文<<