深度学习的Attention模型

前面看到谷歌发表的运用在机器翻译上的论文《Attention is all you need》，非常让人惊讶，这是一种全新的模型，与以前的经典的seq2seq模型改动较大，它彻底摒弃了RNN或CNN神经网络，大大简化了模型的复杂度，并且效果还至关好。固然Attention模型能够单独使用，但这篇文章咱们来看看Attention的机制及怎么与经典的seq2seq结合。

seq2seq

前面咱们有详细的文章介绍了seq2seq的机制以及如何用TensorFlow来实现seq2seq。可到《深度学习的seq2seq模型》、《TensorFlow实现seq2seq》阅读。

seq2seq模型结构基本都大同小异，下面用一种常见结构进行说明，咱们能够看到decoder将不一样时刻的输入最后用一个状态C来表示,encoder部分的不一样时刻的输出则为y t =g(y t−1 ,h ′ t ,C)  ，且有h ′ t =f(h ′ t−1 ,y t−1 ,C)  ，能够看到，不一样时刻的输入被编码成C，而不一样时刻的输出与上一时刻的输出、当前时刻的隐含状态、编码状态C都相关，而当前时刻隐含状态因为上一时刻的隐含状态、上个时刻输出、编码C相关。

seq2seq缺点

seq2seq模型是处理序列问题的大杀器，由它实现的encoder-decoder模型让其在不少场景都发挥着强大的做用，获得了很不错的效果。但它也有本身的局限性，被认为最大限制了seq2seq能力的就在于编码和解码之间的惟一联系就是一个固定长度的语义向量C。

咱们能够看到上面，encoder的不一样时刻的输入都被编码成状态C，这个即是语义向量。从这个角度去看，它将整个序列的信息压缩到一个固定长度的向量中去了。对于短序列来讲，这种作法可能问题不大，但若是是较长较复杂的队列，则该语义向量可能没法彻底表示整个序列的信息。并且先输入的序列的信息会被后输入的序列信息稀释掉。输入序列越长，这个现象就越严重。若是咱们获得一个有损的语义编码，那对后面的解码也极可能会产生影响。

另外seq2seq模型通常会使用RNN，而RNN由于与上一时刻状态相关，因此不能并行运算，效率低。但这是全部使用RNN的局限性，除非不使用它。

Attention模型

为了解决语义损失和信息稀释的问题，提出了Attention模型，Attention即注意力，它是模拟了人类的视觉注意机制而来，好比当观察某个画面时，注意力聚焦到其中某一部分，其他部分则变得模糊。

按照图，我们往下详细看Attention模型怎么与seq2seq结合。对于decoder，输出为牛肉板面的作法

y t =g(y t−1 ,h ′ t ,C) 

这里的C已经与前面说到的seq2seq的语义向量C不一样了，已经再也不是将全部输入进行编码，下面会说到C怎么计算。再看隐含状态，

h ′ t =f(h ′ t−1 ,y t−1 ,C) 

C向量计算公式为，

C t =∑ T x  j=1 a tj h j  

咱们能够将其中的a当作是各个时刻的输出的不一样时刻的输入对应的权重，其实就可使用softmax来计算，它的计算公式为，

a tj =exp(e tj )∑ T x  k=1 exp(e tk )  

其中，

e tj =w(h ′ t−1 ,h j ) 

经过上面几个公式就基本描述了seq2seq与Attention的结合，其中每一个输出多了注意力向量参与，注意力的权重由上一时刻隐含状态与encoder的各个输入的隐含状态共同决定。

在seq2seq模型上加上Attention模型，克服了语义损失和信息稀释的问题，可是它也引入了额外的成本，对于m个输入，n个输出的结构中，Attention参数也达到了m*n的数量级。