一文读懂Attention:Facebook曾拿CNN秒杀谷歌,现现在谷歌拿它秒杀全部人

不久前,Google基于Attention机制的机器翻译研究“Attention is All You Need”赚足了眼球。它放弃了机器翻译上经常使用的CNN、RNN架构,仅采用Attention机制就拿到了业界BLEU评分上的最佳成绩,且训练过程仅需3天半就能完成。固然,这是用了8颗P100 GPU的结果。html   因而,人们难免好奇,Attention究竟是个什么鬼?它相对于传统LSTM
相关文章
相关标签/搜索