递归神经网络RNN总结

一、前述 传统的神经网络每个输入节点之间没有联系，  RNN （对中间信息保留）：   由图可知，比如第二个节点的输入不仅依赖于本身的输入U1，而且依赖上一个节点的输入W0,U0，同样第三个节点依赖于前两个节点的输入， 假设每一个节点分别代表着“我出生在中国，我说——”的一个预测，则“说”后面则是依赖于前面的说的每个单词的所有组合。 xt表示第t,t=1,2,3...步(step)的输入 st为隐

>>阅读原文<<