动手学深度学习pytorch（ModernRNN，过拟合欠拟合及其解决方案，梯度消失、梯度爆炸）

- ModernRNN - RNN： RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。 RNN存在一些问题梯度较容易出现衰减或爆炸（BPTT） - 梯度爆炸，梯度消失 首先举一个例子： 如果有一个层输为 L L L的多层感知机的第 l l l层 H ( l ) \boldsymbol{H}^{(l)} H(l)的参数为 W ( l ) \boldsymb

>>阅读原文<<