浅谈seq2seq中的Attention机制

1.Attention机制的提出： Attention模型最早是在计算机视觉领域提出，首次用于解决nlp问题在2014年[1]。由于seq2seq中的原始输入序列中的单词对于目标输出序列的重要性程度是一致的，当输入序列过长时，此模型的效果将会降低。 比如，在机器翻译方面，对于输入序列为“自”，“然”，“语”，“言”，生成的输出序列为“Natural”，“Language”。事实上，我们发现，“自”

>>阅读原文<<