Attention Is All You Need

一、序言       自从Attention机制在提出之后,加入Attention的Seq2Seq模型在各个任务中都有了提升,所以现在的seq2seq模型指的都是结合RNN和Attention的模型。传统的基于RNN的Seq2Seq模型难以处理长序列的句子,无法实现并行,并且面临对齐的问题。所以,之后这类模型的发展多数从三个方面入手: ①input的方向性:单向-->双向 ②深度:单层-->多层
相关文章
相关标签/搜索