深度学习中的attention机制

一、Attention机制剖析 1、为什么要引入Attention机制？ 根据通用近似定理，前馈网络和循环网络都有很强的能力。但为什么还要引入注意力机制呢？ 计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。 优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表达能力之间的矛盾；但

>>阅读原文<<