从seq2seq到谷歌BERT，浅谈对Attention Mechanism的理解

将深度学习应用到NLP时，许多任务被转换为一个Sequence to Sequence的模型来解决，例如对话系统，机器翻译，文本自动摘要等。在seq2seq中，流行过基于RNN、LSTM及Transformer等的模型，而本文主要介绍Attention Mechanism（注意力机制）在一些模型中所起的作用。 一、RNN Encoder-Decoder RNN Encoder-Decoder模型中

>>阅读原文<<