注意力机制概念和框架

注意力机制概念 在之前学习encoder-decoder模型时,我们了解了模型的原理是,输入source(要翻译的语句),由encoder先将句子编码成隐藏的语义编码C,再输入进decoder中。但是我们看到目标句子Target中每个单词的生成过程如下: f是decoder的非线性变化函数。从这里可以看出,在生成目标句子的单词时,不论生成哪个单词,它们使用的输入句子Source的语义编码C都是一样
相关文章
相关标签/搜索