Attention注意力机制简介

一、注意力机制回顾 简单来说，注意力本质上就是一个经过softmax层输出的向量。 在早期机器翻译应用中，神经网络结构一般如下图，是一个RNN的Encoder-Decoder模型。左边是Encoder，代表输入的sentence。右边代表Decoder，是根据输入sentence对应的翻译。Encoder会通过RNN将最后一个step的隐藏状态向量c作为输出，Deocder利用向量c进行翻译。这样

>>阅读原文<<