XLNet

1.克服了BERT没有考虑文本顺序的缺陷。 2.能够考虑文本内容，仍是双向的，文本的顺序仍是随机的一个模型。 3.用了最早进的transformer-XL,得到了更牛逼的性能。 它比BERT在20个任务上好，还在18个任务上实现了最好的结果。html 1.做者用随机全部句子中的顺序，加上双向lstm,从而得到了context信息 （评价：彻底摒弃了语句的顺序） 二、由于没有mask,因此去除了pr

>>阅读原文<<