NLP中的各种Attention机制

Attention机制是在Seq2Seq模型的基础上被提出来的，Seq2Seq通过encoder拿到（输入）文本信息的context向量（矩阵）。Attention机制让decoder部分更加关注与当前时刻相关性最高的item。因此，在回顾Attention机制之前，需要先回顾一下Seq2Seq（即Encoder-Decoder）模型。 Seq2Seq（Encoder-Decoder） 在此前的博

>>阅读原文<<