《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》（ICLR-2020）论文阅读

前言 论文地址：https://openreview.net/forum?id=r1xMH1BtvB 代码地址：https://github.com/google-research/electra Abstract 就跟题目里说的一样，它将目标放在了 Discriminator 上了，换句话说，它跟 GAN 的结构相似，但是判别器是语言模型，然后最终用的也是判别器。 1、Introduction

>>阅读原文<<