ELECTRA：超越BERT，2019年最佳NLP预训练模型

作者 | 李如 来源 | NLPCAB（ID:rgznai100） 【导读】BERT推出这一年来，除了XLNet，其他的改进都没带来太多惊喜，无非是越堆越大的模型和数据，以及动辄1024块TPU，让工程师们不知道如何落地。今天要介绍的ELECTRA是我在ICLR盲审中淘到的宝贝（9月25日已截稿），也是BERT推出以来我见过最赞的改进，通过类似GAN的结构和新的预训练任务，在更少的参数量和数据下，

>>阅读原文<<