GRU神经网络

时间 2019-12-12 标签 gru 神经网络

前面已经详细讲了LSTM神经网络（文末有连接回去），接着往下讲讲LSTM的一个很流行的变体。web

GRU是什么

GRU即Gated Recurrent Unit。前面说到为了克服RNN没法很好处理远距离依赖而提出了LSTM，而GRU则是LSTM的一个变体，固然LSTM还有有不少其余的变体。GRU保持了LSTM的效果同时又使结构更加简单，因此它也很是流行。网络

GRU模型

回顾一下LSTM的模型，LSTM的重复网络模块的结构很复杂，它实现了三个门计算，即遗忘门、输入门和输出门。并发

而GRU模型以下，它只有两个门了，分别为更新门和重置门，即图中的 $z_t$ 和 $r_t$ 。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。机器学习

GRU向前传播

根据前面GRU模型图来一步步看他是怎么向前传播的，根据图不可贵到如下式子：
分布式

r t = σ (W r \cdot [h t - 1, x t])

$r_t=\sigma(W_r\cdot[h_{t-1},x_t])$

z t = σ (W z \cdot [h t - 1, x t])

$z_t=\sigma(W_z\cdot[h_{t-1},x_t])$

h ~ t = tanh (W h ~ \cdot [r t * h t - 1, x t])

${\tilde{h}}_t=\tanh(W_{\tilde{h}} \cdot[r_t\ast h_{t-1},x_t])$

h t = (1 - z t) * h t - 1 + z t * h ~ t

$h_t=(1-z_t)\ast h_{t-1}+z_t \ast \tilde{h}_t$

y t = σ (W o \cdot h t)

$y_t = \sigma(W_o \cdot h_t)$

其中[]表示两个向量相链接，*表示矩阵元素相乘。svg

GRU的训练

从前面的公式中能够看到须要学习的参数就是 $W_r W_z W_h W_o$ 那些权重参数，其中前三个权重都是拼接的，因此在学习时须要分割出来，即函数

W r = W r x + W r h

$W_r=W_{rx}+W_{rh}$

W z = W z x + W z h

$W_z=W_{zx}+W_{zh}$

W h ~ = W h ~ x + W h ~ h

$W_{\tilde{h}}=W_{{\tilde{h}}x}+W_{\tilde{h}h}$

输出层的输入 $y_t^i = W_oh$ ，输出为 $y_t^o = \sigma(y_t^i)$ 。学习

设某时刻的损失函数为 $E_t = \frac{1}{2} (y_d - y_t^o)^2$ ，则某样本的损失为atom

$E = \sum_{t=1}^T E_t$ spa

与前面LSTM网络相似，最终能够推出

\partial E \partial W o = δ y, t h t

$\frac{\partial{E}}{\partial{W_{o}}}=\delta_{y,t}{h}_{t}$

\partial E \partial W z x = δ z, t x t

$\frac{\partial{E}}{\partial{W_{zx}}}=\delta_{z,t}{x}_t$

\partial E \partial W z h = δ z, t h t - 1

$\frac{\partial{E}}{\partial{W_{zh}}}=\delta_{z,t}{h}_{t-1}$

\partial E \partial W h ~ x = δ t x t

$\frac{\partial{E}}{\partial{W_{\tilde{h}x}}}=\delta_{t}{x}_t$

\partial E \partial W h ~ h = δ t (r t \cdot h t - 1)

$\frac{\partial{E}}{\partial{W_{\tilde{h}h}}}=\delta_{t}(r_t \cdot h_{t-1})$

\partial E \partial W r x = δ r, t x t

$\frac{\partial{E}}{\partial{W_{rx}}}=\delta_{r,t}{x}_t$

\partial E \partial W r h = δ r, t h t - 1

$\frac{\partial{E}}{\partial{W_{rh}}}=\delta_{r,t}{h}_{t-1}$

δ y, t = (y d - y o t) \cdot σ'

$\delta_{y,t} = (y_d - y_t^o) \cdot \sigma'$

δ h, t = δ y, t W o + δ z, t + 1 W z h + δ t + 1 W h ~ h \cdot r t + 1 + δ h, t + 1 W r h + δ h, t + 1 \cdot (1 - z t + 1)

$\delta_{h,t} = \delta_{y,t}W_o+\delta_{z,t+1}W_{zh}+\delta_{t+1}W_{\tilde{h}h} \cdot r_{t+1} + \delta_{h,t+1}W_{rh}+ \delta_{h,t_+1} \cdot (1-z_{t+1})$

δ z, t = δ t, h \cdot (h ~ t - h t - 1) \cdot σ'

$\delta_{z,t} = \delta_{t,h} \cdot ({\tilde{h}}_t - h_{t-1})\cdot \sigma'$

δ t = δ h, t \cdot z t \cdot ϕ'

$\delta_t = \delta_{h,t} \cdot z_t \cdot \phi'$

δ r, t = h t - 1 \cdot [(δ h, t \cdot z t \cdot ϕ') W h ~ h] \cdot σ'

$\delta_{r,t} = h_{t-1} \cdot [(\delta_{h,t} \cdot z_t \cdot \phi')W_{\tilde{h}h}] \cdot \sigma'$

如下是广告和相关阅读

========广告时间========

公众号的菜单已分为“分布式”、“机器学习”、“深度学习”、“NLP”、“Java深度”、“Java并发核心”、“JDK源码”、“Tomcat内核”等，可能有一款适合你的胃口。

鄙人的新书《Tomcat内核设计剖析》已经在京东销售了，有须要的朋友能够购买。感谢各位朋友。

为何写《Tomcat内核设计剖析》

=========================