XLNet模型

1. 简介 XLNet是一种类似BERT的模型,XLNet是一种通用的自回归预训练方法,由CMU和Google Brain团队在2019年6月发布,在18个任务取得了当前最佳效果,包括机器回答,自然语言推断,情感分析,文档排序。 出发点: BERT是基于去噪自编码器的预训练模型,可以很好对双向语境信息建模,性能优于自回归语言模型的预训练方法。但是,优于需要mask一部分的输入,BERT模型忽略了m
相关文章
相关标签/搜索