NLP预训练模型1 -- 综述

系列文章，请多关注 NLP预训练模型1 – 综述 NLP预训练模型2 – BERT详解和源码分析 NLP预训练模型3 – 预训练任务优化（ERNIE、SpanBERT） NLP预训练模型4 – 训练方法优化（RoBERTa、T5） NLP预训练模型5 – 模型结构优化（XLNet、ALBERT、ELECTRA） NLP预训练模型6 – 模型轻量化（ALBERT、Q8BERT、DistillBERT

>>阅读原文<<