attention各类形式总结

attention 总结 参考：注意力机制（Attention Mechanism）在天然语言处理中的应用 Attention函数的本质能够被描述为一个查询（query）到一系列（键key-值value）对的映射，以下图。 在计算attention时主要分为三步:html 第一步是将query和每一个key进行类似度计算获得权重，经常使用的类似度函数有点积，拼接，感知机等； 第二步通常是使用一个s

>>阅读原文<<