Attention in RNN

https://zhuanlan.zhihu.com/p/42724582 在传统的RNN Encoder-Decoder模型中，在编码的过程中，将  时的状态  和 时刻的数据  输入到  时刻的RNN单元中，得到  时刻的状态  ，经过  个时间片后，得到长度等于隐节点数量的特征向量  。在解码的过程中，将特征向量  和上个时间片预测的输出  输入到RNN的单元中，得到该时刻的输出 ，经过  

>>阅读原文<<