自注意力与Transformer

自注意力与 Transformer 简介 近年来，注意力（Attention）机制被广泛应用于计算机视觉和自然语言处理领域，仅 CVPR2020 接收的论文中，使用到 Attention 的文章达到 60 篇。随着 Attention 的广泛研究，很多不同的 Attention 方法被提出，谷歌机器翻译团队于 NIPS2017 发表的《Attention is all you need》引起了广泛

>>阅读原文<<