语言模型和序列生成

语言模型 就是根据某几个单词预测下一个单词，选择概率高的为最终结果。 构造RNN模型，开始输入为a0 x1 2个 0向量， 然后根据softmax得到第一个单词，然后将第一个RNN中单元的输出的y1 作为第二个RNN单元块中的输入x2，状态a1也进传到下一层，再次进行softmax 得到第二层的输出y 2，以此循环，得到整句。其中概率为每个单词的概率，形成该句话的概率是所有单词概率的成绩。 下面有

>>阅读原文<<