循环神经网络（RNN）反向传播算法（BPTT）

循环神经网络的反向传播算法其实只是BP算法的一个简单变体而已。 首先我们先看看循环神经网络的前向传播算法： 需要注意的是，该RNN中前一时刻到当前时刻只有一个权重矩阵，该权重矩阵与时间并没有什么关系。整个前向传播算法与BP网络的前向传播算法的差别是多了一个前一时刻隐藏层的信息而已。在我们这边的前向传播算法可能与大家平时看到的会有点出入，因为这个前向传播算法将传播过程中的各个阶段都拆分开来表示。在进

>>阅读原文<<