预训练综述

一、简介 1.1、预训练影响：          ELMo/GPT/BERT预训练模型的相继提出，NLP找到了可以像计算机视觉那样的迁移学习方法。NLP领域预训练模型，采用自监督 学习方法，将大量无监督文本送入模型中进行学习，得到可通用的预训练模型。NLP领域有大量的无监督学习数据。大量研究工作表明，大量的数据可以不断提高模型的性能表现，与此同时压缩模型参数也成为研究热点，例如ALBERT,ELE

>>阅读原文<<