注意力机制的两种形式

注意力机制的两种形式: 一、additive attention(tensorflow里面称为Bahdanau attention)        这种机制的定义引用了论文https://arxiv.org/pdf/1409.0473.pdf 该注意力机制最显著的特征就是Q与K的对齐函数使用了一层神经网络;   二、第二种机制dot-product attention(multiplicative
相关文章
相关标签/搜索