[深度学习]动手学深度学习笔记-8

Task4——注意力机制与Seq2seq模型 8.1 注意力机制 所谓的注意力机制，其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统，不仅可以自主学习注意力，还可以帮助我们更好的理解神经网络。现在，在计算机视觉当中大多数都是通过掩码来生成注意力，掩码本质上是一组新的权重，可以帮助我们找到需要关注的信息。 目前主要演化出了两种注意力，一种是软注意力，其重点关注的是区域或通道

>>阅读原文<<