Transformer详解(一):从RNN到Attention机制

对于《Attention is all you need》这篇文章中提到的transformer模型,自己最初阅读的时候并不是很理解,于是决定从头开始,一点一点梳理transformer模型的由来。整个文章计划分成三个部分,第一部分,也就是本文,将重点介绍一下NLP方面对于seq2seq的基本发展。第二部分,将讲解attention机制的各个细节。最后一部分,将介绍transformer模型的具体
相关文章
相关标签/搜索