transformer模型详解

论文综述: Attention Is All You Need这篇论文主要介绍了一种新的机器翻译模型,该模型开创性的使用了很多全新的计算模式和模型结构。综合分析了现有的主流的nlp翻译模型的即基于CNN的可并行对其文本翻译和基于RNN的LSTM门控长短期记忆时序翻译模型,总结了两个模型的优缺点并在此基础上提出了基于自注意力机制的翻译模型transformer,transformer模型没有使用CN
相关文章
相关标签/搜索