RNN与梯度弥散的一记杂谈

今天打算复习一下RNN方面的基础，本篇博客会分三个部分讲：第一部分讲NN中的梯度弥散问题，第二部分讲RNN中的梯度弥散问题，并引出LSTM和GRU，第三部分聊一聊batch normalization和group normalization。 关于第一NN和RNN中的梯度问题（弥散，爆炸），因为涉及到了BP（NN）,BPTT（RNN）的推导，索性直接在纸上手推了，顺便巩固了： 好的，现在已经引出了

>>阅读原文<<