RNN,LSTM,GRU基本原理的个人理解

记录一下对RNN,LSTM,GRU基本原理（正向过程以及简单的反向过程）的个人理解

---

RNN

Recurrent Neural Networks，循环神经网络
（注意区别于recursive neural network，递归神经网络）

为了解决DNN存在着无法对时间序列上的变化进行建模的问题（如自然语言处理、语音识别、手写体识别），出现的另一种神经网络结构——循环神经网络RNN。

RNN结构

• 第 t $\mathbf{t}$层神经元的输入，除了其自身的输入 xt ${\mathbf{x}}_t$，还包括上一层神经元的隐含层输出 st−1 ${\mathbf{s}}_{t-1}$
• 每一层的参数U,W,V都是共享的
  
  
• 每一层并不一定都得有输入和输出，如对句子进行情感分析是多到一，文本翻译多到多，图片描述一到多

数学描述

（以下开始符号统一）
回忆一下单隐含层的前馈神经网络
输入为 X∈Rn×x $\mathbf{X}\in {\mathbb{R}}^{n\times x}$（n个维度为x的向量）
隐含层输出为

H=ϕ(XWxh+bh) $$\mathbf{H}=\varphi (\mathbf{X}{\mathbf{W}}_{xh}+{\mathbf{b}}_h)$$

输出层输入 H∈Rn×h $\mathbf{H}\in {\mathbb{R}}^{n\times h}$
输出为

Y^=softmax(HWhy+by) $$\hat{\mathbf{Y}}=\text{softmax}(\mathbf{H}{\mathbf{W}}_{hy}+{\mathbf{b}}_y)$$

现在对 X $\mathbf{X}$、 H $\mathbf{H}$、 Y $\mathbf{Y}$都加上时序下标
同时引入一个新权重 Whh∈Rh×h ${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$
得到RNN表达式

Ht=ϕ(XtWxh+Ht−1Whh+bh) $${\mathbf{H}}_t=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}+{\mathbf{b}}_h)$$

Y^t=softmax(HtWhy+by) $${\hat{\mathbf{Y}}}_t=\text{softmax}({\mathbf{H}}_t{\mathbf{W}}_{hy}+{\mathbf{b}}_y)$$

H0 ${\mathbf{H}}_0$通常置零

深层RNN和双向RNN

通过时间反向传播和随之带来的问题

输入为 xt∈Rx ${\mathbf{x}}_t\in {\mathbb{R}}^x$
不考虑偏置
隐含层变量为

ht=ϕ(Whxxt+Whhht−1) $${\mathbf{h}}_t=\varphi ({\mathbf{W}}_{hx}{\mathbf{x}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_{t-1})$$

输出层变量为

ot=Wyhht $${\mathbf{o}}_t={\mathbf{W}}_{yh}{\mathbf{h}}_t$$

则损失函数为

L=1T∑t=1Tℓ(ot,yt) $$L=\frac{1}{T}\underset{t=1}{\overset{T}{\sum }}\ell ({\mathbf{o}}_t,y_t)$$

以一个三层为例

三个参数更新公式为

Whx=Whx−η∂L∂Whx $${\mathbf{W}}_{hx}={\mathbf{W}}_{hx}-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{hx}}$$

Whh=Whh−η∂L∂Whh $${\mathbf{W}}_{hh}={\mathbf{W}}_{hh}-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{hh}}$$

Wyh=Wyh−η∂L∂Wyh $${\mathbf{W}}_{yh}={\mathbf{W}}_{yh}-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{yh}}$$

明显的

∂L∂ot=∂ℓ(ot,yt)T⋅∂ot $$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_t}=\frac{\mathrm{\partial }\ell ({\mathbf{o}}_t,y_t)}{T\cdot \mathrm{\partial }{\mathbf{o}}_t}$$

根据链式法则

∂L∂Wyh=∑t=1Tprod(∂L∂ot,∂ot∂Wyh)=∑t=1T∂L∂oth⊤t $$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{yh}}=\underset{t=1}{\overset{T}{\sum }}\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_t},\frac{\mathrm{\partial }{\mathbf{o}}_t}{\mathrm{\partial }{\mathbf{W}}_{yh}})=\underset{t=1}{\overset{T}{\sum }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_t}{\mathbf{h}}_t^{\mathrm{\top }}$$

先计算目标函数有关最终时刻隐含层变量的梯度

∂L∂hT=prod(∂L∂oT,∂oT∂hT)=W⊤yh∂L∂oT $$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_T}=\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_T},\frac{\mathrm{\partial }{\mathbf{o}}_T}{\mathrm{\partial }{\mathbf{h}}_T})={\mathbf{W}}_{yh}^{\mathrm{\top }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_T}$$

假设 ϕ(x)=x $\varphi (x)=x$（RNN中用激活函数relu还是tanh众说纷纭，有点玄学）

∂L∂ht=prod(∂L∂ht+1,∂ht+1∂ht)+prod(∂L∂ot,∂ot∂ht)=W⊤hh∂L∂ht+1+W⊤yh∂L∂ot $$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t}=\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_{t+1}},\frac{\mathrm{\partial }{\mathbf{h}}_{t+1}}{\mathrm{\partial }{\mathbf{h}}_t})+\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_t},\frac{\mathrm{\partial }{\mathbf{o}}_t}{\mathrm{\partial }{\mathbf{h}}_t})={\mathbf{W}}_{hh}^{\mathrm{\top }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_{t+1}}+{\mathbf{W}}_{yh}^{\mathrm{\top }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_t}$$

通项为

∂L∂ht=∑i=tT(W⊤hh)T−iW⊤yh∂L∂oT+t−i $$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t}=\underset{i=t}{\overset{T}{\sum }}{({\mathbf{W}}_{hh}^{\mathrm{\top }})}^{T-i}{\mathbf{W}}_{yh}^{\mathrm{\top }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_{T+t-i}}$$

注意上式，当每个时序训练数据样本的时序长度T较大或者时刻t较小，目标函数有关隐含层变量梯度较容易出现衰减和爆炸

∂L∂Whx=∑t=1Tprod(∂L∂ht,∂ht∂Whx)=∑t=1T∂L∂htx⊤t $$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{hx}}=\underset{t=1}{\overset{T}{\sum }}\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t},\frac{\mathrm{\partial }{\mathbf{h}}_t}{\mathrm{\partial }{\mathbf{W}}_{hx}})=\underset{t=1}{\overset{T}{\sum }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t}{\mathbf{x}}_t^{\mathrm{\top }}$$

∂L∂Whh=∑t=1Tprod(∂L∂ht,∂ht∂Whh)=∑t=1T∂L∂hth⊤t−1 $$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{hh}}=\underset{t=1}{\overset{T}{\sum }}\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t},\frac{\mathrm{\partial }{\mathbf{h}}_t}{\mathrm{\partial }{\mathbf{W}}_{hh}})=\underset{t=1}{\overset{T}{\sum }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t}{\mathbf{h}}_{t-1}^{\mathrm{\top }}$$

梯度裁剪

为了应对梯度爆炸，一个常用的做法是如果梯度特别大，那么就投影到一个比较小的尺度上。 θ $\theta$为设定的裁剪“阈值”，为标量，若梯度的范数大于此阈值，将梯度缩小，若梯度的范数小于此阈值，梯度不变

g=min(θ∥g∥,1)g $$\mathit{g}=min\left(\frac{\theta }{\Vert \mathit{g}\Vert },1\right)\mathit{g}$$

---

LSTM

RNN的隐含层变量梯度可能会出现衰减或爆炸。虽然梯度裁剪可以应对梯度爆炸，但无法解决梯度衰减。因此，给定一个时间序列，例如文本序列，循环神经网络在实际中其实较难捕捉两个时刻距离较大的文本元素（字或词）之间的依赖关系。
LSTM（long short-term memory）由Hochreiter和Schmidhuber在1997年被提出。

LSTM结构

这里两张图先不用细看，先着重记住公式后再回来看

数学描述

（同上，符号统一）
设隐含状态长度 h $h$,h $h$, t $t$时刻输入 Xt∈Rn×x ${\mathbf{X}}_t\in {\mathbb{R}}^{n\times x}$（ x $x$维）及 t−1 $t-1$时刻隐含状态 H