ALBERT 与ELECTRA，小排量的大飞机

前言 随着BERT的横空出世，目前越来越多优秀的预训练语言模型涌现出来，学习的步伐跟不上发展的速度。 BERT 刚出来时，感觉，可预期的时间内，只要预训练目标任务足够好，相信效果会有更进一步提升。 预训练语言模型 名称 特点 机构 ELMO 自回归语言模型，双层BiLSTM AllenNLP BERT 自编码语言模型，Transformer 谷歌 GPT，GPT 2.0 自回归，Transform

>>阅读原文<<