XLNet论文笔记

1.简介 本文依据2020年《XLNet: Generalized Autoregressive Pretraining for Language Understanding》翻译总结而来。 Autoregressive（AR）语音模型和aotoencoding（AE）是目前最成功的两个预训练语言模型。 AE模型不是进行明确的概率评估，而是从破坏的输入恢复原数据。最知名的例子是BERT。给定输入，

>>阅读原文<<