RNN中BPTT的推导和可能的问题

最近开始啃LSTM，发现BPTT这块还是不是很清晰，结合RNN，把这块整理整理 RNN 前馈神经网络（feedforward neural networks）如下图所示（这块内容可见我的博客神经网络BP算法）： 假设我们的训练集只有一个实例（ x(1),y(1) ），我们的神经网络是一个三层的神经网络，即隐藏层只有1层。 以中间层神经元 Sj ，(j=1,2)为例，它只模仿了生物神经元所具有的三个

>>阅读原文<<