注意力机制集锦

注意力机制模仿的是人类观察模式。一般我们在观察一个场景时，首先观察到的是整体场景，但当我们要深入了解某个目标时，我们的注意力就会集中到这个目标上，甚至为了观察到目标的纹理，我们会靠近目标，仔细观察。同理在深度学习中，我们提取到的信息流以同等重要性向后流动，而如果我们知道某些先验信息，我们就能够根据这些信息抑制某些无效信息的流动，从而使得重要信息得以保留。这是一种模式，而并非具体的公式，因此存在各种

>>阅读原文<<