attention机制

1. 机器翻译attention 在seq2seq结构中，针对一个样本，decoder的每个输入（字向量）都是encoder的最后一个词的输出。attention机制企图达到以下目的：以将“机器学习”翻译成machine learning为例。decoder中第一次只想关注机器，从而翻译成machine；第二次只想关注学习，并翻译成learning。因此，decoder中每个输入（字向量）都是不一

>>阅读原文<<