机器翻译模型简介（三）

本系列将记录一些最近的机器翻译模型，作为笔记，以备日后查看。 3、Attention Is All You Need       本文提出一个新的网络结构transfomer，不采用卷积与循环神经网络，仅仅依赖于注意力机制。对于循环神经网络由于其序列输入特性，导致难以并行。而卷积网络可以捕获任意位置的信息，导致随着距离的增大，也越难学习长距离的依赖关系。本文提出一种自注意机制的端到端网络。结构如下

>>阅读原文<<