Self-Attention 最新进展

原文地址 Attention注意力，起源于Human visual system（HVS），个人定义的话，应该类似于 外界给一个刺激Stimuli，然后HVS会第一时间产生对应的 saliency map，注意力对应的应该就是这个显著性区域。 这其中就涉及很多 bottom-up 及 top-down 的 physiological 原理~总的来说，就是 区域权值学习 问题： 1、Hard-att

>>阅读原文<<