[NLP学习笔记-Task9] Attention原理 + HAN原理

RNN、CNN中获取全局信息的缺陷 Attention Attention定义 Google 的一般化 Attention 思路也是一个编码序列的方案，因此我们也可以认为它跟 RNN、CNN 一样，都是一个序列编码的层。 Google 给出的方案是很具体的。首先，它先把 Attention 的定义给了出来： Multi-Head Attention 这个是 Google 提出的新概念，是 Atte

>>阅读原文<<