动手学深度学习番外篇：注意力机制概述

我觉得，注意力机制的核心就是：权重。分配不同权重来体现不同输入对当前计算时的重要程度。 注意力池化： 偏好： 带注意力池化的LSTM，进行指定类别的情感分类： h是通过LSTM计算出的隐藏层，我们现在要判断在味觉方面的好坏的评价，为每个h向量，拼接一个关于味觉的参数化的查询项，然后通过softmax计算概率，得到的就是每个词对味觉评判时的权重，再乘以没有加关于味觉的参数化的查询项时的h得到进行结果

>>阅读原文<<