RNN、LSTM、GRU基础原理梳理

文章目录 前言 一、传统RNN 双向RNN 深层双向RNN 二、LSTM 第一层 第二层 第三层 第四层 三、GRU 四、 LSTM和GRU区别 参考 前言 为了复习NLP自己的相关知识,整理一个博客 一、传统RNN 传统的RNN也即BasicRNNcell单元。内部的运算过程为,(t-1)时刻的隐层输出与w矩阵相乘,与t时刻的输入乘以u之后的值进行相加,然后经过一个非线性变化(tanh或Relu
相关文章
相关标签/搜索