循环神经网络

1.rnn结构 其中x为输入层节点，s为隐藏层节点，o为输出层节点，u是输入层到隐藏层的权重，v为s到o的权重。w是上一层隐藏层的输出到下一个影藏层的权重。 那么我们可以看看这个图的展开图 从这个图可以看出 梯度爆炸原因 因为神经网络用到的sigmoid的特点，它会将+∞～-∞之间的输入压缩到0～1之间。当input的值更新时，output会有很小的更新。 又因为上一层的输出将作为后一层的输入，而

>>阅读原文<<