Transformer、Attention与seq2seq model

一、什么是seq2seq，以及它和Attention机制有什么关系 seq2seq是一种NLP常见的框架——这种框架不要求输入和输出序列是维度是一样的。许多NLP task的输入输出维度不统一，比如机器翻译、图像的图注生成、摘要生成、自动问答等。seq2seq框架大多包含encoder和decoder。 Attention机制只是一种思想——即，人在理解一件事物并作出判断的时候，并不是概览了整个事

>>阅读原文<<