通俗易懂了解attention机制

attention其实很简单，比如有翻译: 我喜欢游泳->I like swimming 那么在翻译的时候可以这样,也就是越靠近相对应的词，我越注意，影响也就越大 i = f(0.7(“我”),0.2(“喜欢”)+0.1(“游泳”)) like = f(0.2(“我”),0.6(“喜欢”)+0.2(“游泳”)) swimming = f(0.1(“我”),0.2(“喜欢”)+0.7(“游泳”))

>>阅读原文<<