gradient clipping

问题起与这篇知乎：训练到一定epoch之后，突然loss为Nan，其中一种方法说 梯度截断。我觉得我LSTM可能会出现这个问题。 https://www.zhihu.com/question/49346370 梯度消失（vanishing gradient）与梯度爆炸（exploding gradient） （1）梯度不稳定问题： 什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度

>>阅读原文<<