论文略读 | Attention is all you need

2017年Google发表在NIPS的一篇文章,到现在已经1200+的引用量了,可以看到现在多火了吧。还是要来看看的,粗略读一下吧。 后续,从阅读理解的Encoder-Decoder方面改一下看看会不会有改进点。还有Mem2seq的代码看一下。相似度概率计算的公式可以改一下试试。 主要序列转导模型基于包括编码器和解码器的复杂RNN或者CNN网络,性能最佳的模型是通过注意力机制链接编码器和解码器。本
相关文章
相关标签/搜索