对比Attention的几种结构

前言 　　Attention是一种思想，在当前输出上，是存在部分输入需要重点关注的，其对该输出贡献非常大。之前看到几篇关于attention思想的应用文章，现对比下其中的Attention具体结构上的区别。 NMT using Attention 　　这篇文章是Bahdanau的2015年佳作，将Attention引入到NMT中并取得了非常好的效果，其中的attention结构不是非常容易理解。

>>阅读原文<<