Attention机制

写在前面：此文只记录了下本人感觉需要注意的地方，不全且不一定准确。详细内容可以参考文中帖的链接，比较好！！！ attention详解 self attention & transformer 参考3 1 Attention原理 其计算公式为： s i = f ( s i − 1 , y i − 1 , c i ) s_{i} = f\left ( s_{i-1}, y_{i-1}, c_i \ri

>>阅读原文<<