XLNet简介

时间 2021-01-15

原文原文链接

背景知识语言模型：自回归和自编码模式图示：黄色块为输入字符，蓝色块为字符的位置。对于自回归语言模型，它希望通过已知的前半句预测后面的词或字。对于自编码语言模型，它希望通过一句话预测被 Mask 掉的字或词，如上所示第 2 个位置的词希望通过第 1、3、5 个词进行预测。自回归式的优缺点计算效率比较高只能编码单向语义自编码式的优缺点双向编码能力 BERT 假设要预测的词之间是相互

>>阅读原文<<

1. 【简单理解】XLNet
2. XLNet
3. 【NLP】XLNet详解
4. Bert albert xlnet gtp
5. 从RNN到XLnet
6. XLNet 详解
7. XLNet入门（1）
8. XLNet详解
9. XLNet解读
10. XLNet模型
更多相关文章...
• Scala 简介 - Scala教程
• AJAX 简介 - PHP教程
• Github 简明教程
• Java Agent入门实战（一）-Instrumentation介绍与使用