Attention基本原理

1.为什么需要Attention? 最基本的seq2seq模型包含一个encoder和一个decoder，通常的做法是将一个输入的句子编码成一个固定大小的state，然后作为decoder的初始状态（当然也可以作为每一时刻的输入），但这样的一个状态对于decoder中的所有时刻都是一样的。 attention即为注意力，需要attention的原因是非常直观的。比如，我们期末考试的时候，我们需要老

>>阅读原文<<