RNN原理介绍

RNN介绍： RNN与HMM的区别： 主要是隐状态，HMM相当于是onehot编码，每个观测状态是由某一个隐状态决定的，其他都为0.属于局部最优解，稀疏。 而RNN的隐状态相当于词向量表示（分布式表示），每个观测状态是由好多隐状态作用生成的，密集。  递归神经网络适合语言模型，因为后边的输出会受前边输入的影响，所以一个句子后边的词的生成是联合概率。但存在的问题是 梯度消失，随着句子加长，生成后边的

>>阅读原文<<