注意力机制----RNN中的self-attention

对于SimpleRNN来说，要更新当前状态h_1 ： 将“输入”和“上一个时刻状态”拼接 乘以A，加上b，乘以双曲正切函数 对于有注意力机制的RNN来说： 将“输入”和“c_0”拼接 （剩下都一样） （也可以将三个拼接） 每一个c的算法： 注意力权重和状态 做向量内积 总结： attention是用在seq2seq模型中的，是encoder做出用于decoder。 而self-attention是

>>阅读原文<<