How Self-Attention with Relative Position Representations works

  本文的主要内容是基于相对位置表示的自注意力机制是如何工作的。 1. 引论   本篇文章是基于 Self-Attention with Relative Position Representations(https://arxiv.org/pdf/1803.02155.pdf)，它提出了一种对Transformer的输入序列中的位置编码的替代方法。它改变了Transformer的自注意力机制，从

>>阅读原文<<