深度学习——attention机制

一、序列编码 目前主流的处理序列问题像机器翻译，文档摘要，对话系统，QA等都是encoder和decoder框架， 编码器：从单词序列到句子表示 解码器：从句子表示转化为单词序列分布   1、第一个基本的思路是 RNN 层 RNN 的方案很简单，递归式进行： 但是，这种方式会有一个问题：对于长句子的翻译会造成一定的困难，而attention机制的引入可以解决这个问题。（为什么引入注意力模型？因为没

>>阅读原文<<