《Video Action Transformer Network》阅读笔记（附Transformer的笔记内容）

Transformer 半年前刚开始踏入深度学习的时候，看李弘毅的视频了解了一点Transformer。这次的笔记也是基于李宏毅视频讲解的内容。 在处理seq2seq问题时，我们首先能想到的就时rnn，它的优势是能结合上下文把握全局，不足是，它的计算不能实现平行。如下图，要想得到b4，必须先计算出b1,b2,b3。但如果用cnn替换rnn那就可以实现并行了，只不过这样的cnn需要构建多层，如图右边

>>阅读原文<<