注意力机制(Attention)最新综述论文及相关源码

简介 在下图中，左边是传统的Seq2Seq模型（将序列编码，然后解码为序列），可以看出，这是一个传统的基于LSTM模型，在解码器Decoder中，某一时间戳的隐藏状态只依赖于当前时间戳的隐藏状态和上一时间戳的输出。右边是基于Attention的Seq2Seq模型，Decoder的输出还需要依赖于一个上下文特征(c)，这个上下文特征是通过Encoder中所有时间戳的隐藏状态的加权平均得到的，加权平均

>>阅读原文<<