Transformer理解

Transformer理解 Transformer，是google, 2017年提出的一个特征提取模型，最近大火的Bert就是构建在Transformer的基础 上的，所以我们有必要深入学习一下。下面是我通过阅读原论文、博客资料，得到的一些理解 背景 在Transformer未提出来之前，RNN是自然语言处理领域用得最广的深度学习框架，RNN有两个最大的缺点， 一是RNN无法提取长距离依赖信息，针

>>阅读原文<<