Attention

时间 2020-12-23

标签 attention 博客笔记繁體版

原文原文链接

一、背景知识：大致趋势： 1 本质：人类视觉感知场景时，不会从头到尾进行感知，而是根据观察注意特定的部分。 NLPattention计算方法：本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射计算attention三步：第一步：将query和每个key进行相似度计算得到权重。常用的相似度计算函数有：点积、拼接、感知机等。第二步：使用softmax进行归一化

>>阅读原文<<

1. Attention？Attention！
2. Attention的两种机制——global attention/local attention
3. attention
4. Attention
5. attention机制及self-attention(transformer)
6. additive attention 与 dot product attention
7. Attention-over-Attention Neural Networks for RC
8. Seq2Seq中的Attention和self-attention
9. NLP_task9: Attention
10. seq2seq attention
更多相关文章...
• W3C词汇和术语表 - 网站建设指南