selfattention

  1.self-attention 在之前处理序列问题的时候，用的是rnn，现在我们把rnn层换成self-attention层。 图1 任何用rnn的都可以被替换成self-attention层标题 那么具体是怎么做的呢？我们首先以上图为例讲解。 a1,a2,a3,a4是一个sequence(序列)，我们首先为每一个input a1,a2,a3,a4 乘以一个矩阵，通过embedding变成

>>阅读原文<<