文本蕴含日记2——注意力机制

1、什么是注意力机制（Attention Mechanism） 注意力Attention，人类在观察周围环境时，总会优先注意到一些部分来获取自己需要的信息，这些部分就代表了周围环境的某种描述。而注意力机制通过学习不同局部的重要性，再结合起来。对Attention常见的有三种理解： （1）从数学公式和代码实现上attention可以理解为加权求和； （2）从形式上attention可以理解为键值查询

>>阅读原文<<