Attention机制

时间 2020-12-23

标签机器学习 Attention RNN 繁體版

原文原文链接

在机器翻译领域中，Attention机制是从机器视觉领域首先提出的。其直觉是当人们观察事物时，人们总是将注意力放在关注的事物上，而不是看的所有画面。为了更好地解释Attention机制的作用，我们引入机器翻译任务中的问题。在机器翻译任务中，人们发现，RNN对短的句子总是有很好的翻译效果，而长句子的翻译效果则不尽如人意，这是因为即使是LSTM也只能记住大约30个词。我们可以从这样一个方面考虑，如下

>>阅读原文<<

1. [NLP]Attention机制与self-Attention机制
2. attention机制及self-attention(transformer)
3. attention 机制
4. Attention机制
5. Attention 机制 -- Transformer
6. Attention 机制
7. attention机制
8. Dual Attention机制
9. Attention机制、HAN
10. Attention的两种机制——global attention/local attention
更多相关文章...
• ARP协议的工作机制详解 - TCP/IP教程
• TiDB数据库的管理机制 - NoSQL教程
• 漫谈MySQL的锁机制
• Docker容器实战(六) - 容器的隔离与限制