transformer简析

Transformer简析 除了传统的rnn与cnn外,在nlp领域中越来越的transformer模型逐渐进入人们的视野,他很好的解决了在自然语言处理中,rnn遇到的几个问题,包括不方便并行计算,记忆丢失等问题。相对于传统的nmt模型,transformer引进了attention机制,最终效果也非常好。 在这里说说我自己对模型的理解。 attention机制 对于传统的NMT来说,翻译的顺序是
相关文章
相关标签/搜索