吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Vanishing gradients with RNNs

这一节主要描述了RNN的梯度消失问题，解决方案就是后面的GRU和LSTM 如图，两句话，cat对应was和cats对应were，但是这两个单词相隔很远，这样就存在一个问题，cat的单复数可能影响不了后面be动词的单复数判断，在神经网络中，这和之前在DNN中所见到的类似，梯度消失。 也就是一个输出，只会受到附近的输入的影响。这里每个输入输入的就是一层神经网络 梯度爆炸： 同样，在RNN也会可能发生梯

>>阅读原文<<