预训练模型（5）---- SpanBERT&RoBERTa&ERNIE2

比较小众的预训练模型 1. SpanBERT 2. RoBERTa 3. ERNIE2 本文主要介绍一些比较小众的预训练模型，这些模型不像Bert、XLNet等那么有影响力，都是在这些模型的基础上做的相关改进工作，但是这些工作可以引导我们学会如何优化模型，对我们的学习以及科研都会有很大的帮助。 首先是Facebook的提出的两个预训练模型——SpanBERT和RoBERTa。 1. SpanBER

>>阅读原文<<