attention各种形式总结

attention 总结 参考：注意力机制（Attention Mechanism）在自然语言处理中的应用 Attention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射，如下图。 在计算attention时主要分为三步: 第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等； 第二步一般是使用一个softmax函

>>阅读原文<<