GRU门控循环单元简述

GRU门控循环单元简述 By:Yang Liu 1.什么是门控循环单元GRU 在循环神经⽹络中的梯度计算⽅法中,我们发现,当时间步数较⼤或者时间步较小时,循环神经⽹络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸,但⽆法解决梯度衰减的问题。通常由于这个原因,循环神经⽹络在实际中较难捕捉时间序列中时间步距离较⼤的依赖关系。 GRU(Gate Recurrent Unit)是循环神经网络(R
相关文章
相关标签/搜索