图解Attention

关于Attention的公式推导，我在这篇文章讲过了，本篇文章主要以图示的方式进行讲解 下图是一个Encoder架构， s 0 s_0 s0​从值上来说与 h m h_m hm​是相等的，只不过这里换了个名字 首先我们需要将 s 0 s_0 s0​和所有的 h i   ( i = 1 , . . . , m ) h_i\ (i=1,...,m) hi​ (i=1,...,m)计算一个"相关性"，比

>>阅读原文<<