动手深度学习(Pytorch)之路 --- Attention and Transformer

Attention 近年来，Attention机制越来越火，在下不才，可能比你们多看了几篇博客，分享一些我对于Attention机制的理解，推荐大家去看李宏毅老师的视频，讲的非常清楚，也可以参考博客。和绝大多数神经网络模型相似，Attention机制最先应用于图像领域，后来逐渐引入到自然语言处理中。经典的论文可以看看这几篇：《Recurrent Models of Visual Attention

>>阅读原文<<