【机器学习】注意力机制

1 注意力机制定义 1.1 定义 深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息注意力机制就是一种加权 1.2 为什么注意力机制可以发挥重要作用 卷积是如何提取特征的？ 卷积操作实际上是向量的内积，而两个向量的内积代表他们的相关程度 卷积是是一个线性的过程，为了增加非线性特征，加入了池化层和激活层。这个过程是一系列矩阵乘法

>>阅读原文<<