【20191002】Attention详细解读

转载自阿里巴巴工程师楠易 前言 Attention 自2015年被提出后，在 NLP，图像领域遍地开花。Attention 赋予模型区分辨别能力，从纷繁的信息中找到应当 focus 的重点。2017年 self attention 的出现，使得 NLP 领域对词句 representation 能力有了很大的提升，整个 NLP 领域开启了全面拥抱 transformer 的年代。 1. 什么是 A

>>阅读原文<<