自注意力机制（Self-Attention）的基本知识

Transformers是机器学习（ML）中一个令人兴奋的（相对）新的部分，但是在理解它们之前，有很多概念需要分解。这里我们关注的是基本的Self-Attention机制是如何工作的，这是Transformers模型的第一层。本质上，对于每个输入向量，Self-Attention产生一个向量，该向量在其邻近向量上加权求和，其中权重由单词之间的关系或连通性决定。 内容列表 介绍 自我关注-数学 引用

>>阅读原文<<