【深度学习】Attention

seq2seq中的attention机制  咱们在encoder的过程当中保留每一个RNN单元的隐藏状态（hidden state）获得（h1……hN） 而后对于decoder的每个timestep，由于有此时decoder的输入和上一步的隐藏状态输出，因此咱们能够获得当前步的隐藏状态。假设第t步的（根据上一步隐藏状态输出与当前输入获得的）隐藏状态为St， 在每一个第t步利用St和hi进行dot点

>>阅读原文<<