长短期记忆(LSTM)相关知识

文章目录 LSTM结构 遗忘门 输入门 决定给细胞状态C添加哪些新的信息 更新旧的细胞信息 输出门 LSTM小结 如何实现长期依赖? 如何避免梯度消失/爆炸? 双向LSTM(Bi-LSTM) GRU 上一篇文章中,提到RNN难以学习到长期依赖关系,后来有人提出了RNN的改进版本LSTM很大程度上改善了长期依赖问题。 长期依赖在序列数据中是很常见的,考虑到下面这句话“I grew up in Fra
相关文章
相关标签/搜索