注意力机制

Attention机制是什么？ 说到底attention实际上是一个加权求和，用于计算每个与attention关注的对象（其实是一个向量）的相关程度。 step1 设计一个打分函数 f i f i fi，针对每个 h i hi hi，计算出一个score s i si si 。而 s i si si打分的依据，就是 h i hi hi与attention所关注的对象(其实就是一个向量)的相关程度，

>>阅读原文<<