学习GRU

为什么会提出 GRU? 1.RNN存在梯度爆炸和梯度消失的缺点 2LSTM 门控网络结构过于复杂与冗余 GRU将遗忘门和输入门合并成更新门,同时将记忆单元与隐藏层合并成重置门,进而让整个结构运算变得更加简化且性能得以增强。 每个隐藏单元都有单独的重置和更新门 当重置门接近于0时,隐藏状态被迫忽略先前的隐藏状态,仅用当前输入进行复位。这有效地使隐藏状态可以丢弃将来以后发现不想关的任何信息,从而允许更
相关文章
相关标签/搜索