attention机制及self-attention(transformer)

最近接触的项目当中用到了transformer，学习相关知识以后其中一个重要的贡献就是引入了self-attention机制，了解了相关处理过程以后然而并没引发太多比较。 由于以前就已经有了attention机制，并获得了普遍的应用且取得了很是好的效果(读过一篇相关的机器翻译的文章)。web 在被别人问道二者之间的区别的时候居然却哑口无言、甚是惭愧。网络 今天再次把二者拿出来，拜读知乎大神之做、详

>>阅读原文<<