梯度消失和梯度爆炸

一、RNN梯度更新过程 对于循环神经网络，在训练语言模型或序列标注任务中，每一个隐层输出与实际输出都对于产生一个损失函数 J ( θ ) \displaystyle J( \theta ) J(θ)。如 J 3 ( θ ) \displaystyle J^{3}( \theta ) J3(θ)：loss as time 3表示在第3时刻的损失。这里采用基于时间的反向传播算法BPTT(Back Pr

>>阅读原文<<