NLP入门(2)— RNN & LSTM

前言 上一期介绍了神经语言模型基础以及词向量表示。在开始介绍其他语言模型前,有必要了解一下它们的基础结构:RNN以及LSTM。 RNN(Recurrent Neural Networks) 网络结构 最简单的循环神经网络就是一个单层隐含层结构的网络;隐含层激活函数为tanh,输出层激活函数为softmax函数。因此和NNLM一样,RNN的输出为预测的概率,范围在0~1之间。 运作方式 RNN每一次
相关文章
相关标签/搜索