一文读懂transformer(CV专享)

导言：

       transformer在这两年大火，CV界普遍应用transformer模型，充分吸取其idea到本身的领域。考虑到transformer本是应用于NLP的论文，其中不少内容都造成了共识，所以在论文中并未说起，就好像CV中论文提到图像预处理使用center crop , color jitter，但不会详细介绍这两个，这就是CV领域的共识，其余领域的人看到这两个将会很困惑，做为CV中人读transformer会被不少共识内容所折磨，包括不少介绍transformer的博客知乎，都是站在NLP领域的角度写的，所以共识部分都是一笔带过，本文的出发点是要让CV人读得懂。

    （注：本文是本人在内部分享会上的作的ppt，要转换成文章太费时间，这里直接使用ppt图片，原ppt不少内容都是口头讲的，且不少都是原论文引文，这里为了介绍清楚，在其基础上加入了不少口头上讲的东西，并将英文改为了中文，但愿读者能谅解）

参考连接
1.《Attention Is All You Need》

2.https://zhuanlan.zhihu.com/p/54743941

3.https://juejin.cn/post/6844903680487981069#comment

4.《The Annotated Transformer》：http://nlp.seas.harvard.edu/2018/04/03/attention.html

5.https://zhuanlan.zhihu.com/p/47812375

6.https://link.zhihu.com/?target=https%3A//lilianweng.github.io/lil-log/2018/06/24/attention-attention.html

声明：本公众号全部内容都本着态度严谨、力求准确的写文原则，全部原创文章都注重于原论文，极少参考部分都通过与原论文的对照，解释合理、确认无误才会写上，固然仍不可避免会出现错误，欢迎读者指出，本人将及时更正。（写这条是由于看到的全部博客（大概四五篇）都在某一个地方写错了，本人在ppt中给出了具体位置）

本文来源于微信公众号“ CV技术指南 ”的模型总结部分 。更多内容与最新技术动态尽在公众号发布。

欢迎关注公众号“CV技术指南”，主要进行计算机视觉方向的论文解读，最新技术跟踪，以及CV技术的总结。正在进行的系列有网络模型解读、行为识别和CV技术总结。

原创文章第一时间在公众号中更新，博客只在有空时间才更新公众号文章