理解BPTT及RNN的梯度消失与梯度爆炸

前言 上篇文章RNN详解已经介绍了RNN的结构和前向传播的计算公式，这篇文章讲一下RNN的反向传播算法BPTT，及RNN梯度消失和梯度爆炸的原因。 BPTT RNN的反向传播，也称为基于时间的反向传播算法BPTT(back propagation through time)。对所有参数求损失函数的偏导，并不断调整这些参数使得损失函数变得尽可能小。 先贴出RNN的结构图以供观赏，下面讲的都是图中的单

>>阅读原文<<