【机器学习】【RNN中的梯度消失与梯度爆炸】

学习speech synthesis的Tacotron模型，而Tacotron是基于seq2seq attention，RNN中的一类。所以得先学习RNN，以及RNN的变种LSTM和GRU。 RNN的详细我这里不再介绍了，许多神犇的博客及网上免费的课程讲得都很详细。这里仅说明RNN中的梯度消失与梯度爆炸。文章若有错误，烦请大家批评指正。 以经典RNN为例， 假设我们的时间序列只有三段，S0为给定值

>>阅读原文<<