[预训练语言模型专题] Transformer-XL 超长上下文注意力模型

本文为预训练语言模型专题系列第十篇，同时增录之前的两篇为第十一和十二篇。 快速传送门    1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧] 、 [GPT家族] 5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)] 9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]   感谢清华大学自然语言

>>阅读原文<<