【NLP】Attention原理和源码解析

内容： 1. 核心思想 2. 原理解析（图解+公式） 3. 模型分类 4. 优缺点 5. TF源码解析 1. 核心思想 Attention的思想理解起来比较容易，就是在decoding阶段对input中的信息赋予不同权重。在nlp中就是针对sequence的每个time step input，在cv中就是针对每个pixel。 2. 原理解析 针对Seq2seq翻译来说，rnn-based mode

>>阅读原文<<