注意力机制的理解（借鉴）

一、Encoder-Decoder框架 如图是在文本处理领域的Encoder-Decoder框架。 Encoder：对输入句子进行编码，通过非线性比变换转化为中间语义表示C Decoder：根据中间语义C和之前的历史信息，生成输出语句 每个yi都是依次产生的。 二、Soft Attention模型 上图中展示的Encoder-Decoder框架是没有体现出"注意力模型"的，可以看作是注意力不集中的

>>阅读原文<<