NLP预训练模型3 -- 预训练任务优化（ERNIE、SpanBERT）

1 背景 前面一篇文章 NLP预训练模型2 – BERT详解和源码分析 中，我们从模型结构、实现源码、实验结果等角度，分析了预训练语言中大名鼎鼎的BERT模型。BERT大幅刷新的GLUE得分，提高了7.7个点之多，甚至有些中文NLP任务上达到了人类水平。那是不是在预训练模型方面就没法进行其他创新了呢，答案显然是否定的。前文中我们也提到了BERT存在的很多缺点，从预训练任务、模型结构、语料数据、模型

>>阅读原文<<