最新语言表示学习方法XLNet，在20项任务上超越BERT

最新语言表示学习方法XLNet，在20项任务上超越BERT 原文地址：http://www.javashuo.com/article/p-ncqijumb-hk.htmlhtml 摘要：凭借对双向上下文进行建模的能力，与基于自回归语言建模的预训练方法相比，基于BERT的基于自动编码的预训练实现了更好的性能。然而，依赖于对输入使用掩码，BERT忽略了屏蔽位置之间的依赖性，而且受到预训练 - 微调差别

>>阅读原文<<