RNN中梯度消失和爆炸的问题公式推导

RNN 首先来看一下经典的RRN的结构图，这里 x x x 是输入 W W W 是权重矩阵 (RNN的权重矩阵是共享的所以都是W) h h h 是隐藏状态 y y y是输出 RNN简单公式定义 h t = W ∗ f ( h t − 1 ) + W ( h x ) ∗ x [ t ] h_t = W*f(h_{t-1}) + W^{(hx)}*x_{[t]} ht​=W∗f(ht−1​)+W(hx

>>阅读原文<<