GPT-1和GPT-2的发展

OpenAI在2018年提出来的一个方法——GPT 1.0，GPT 1.0采取预训练+FineTuning两个阶段，它采取Transformer的decoder作为特征抽取器，总共堆叠12个。预训练阶段采用“单向语言模型”作为训练任务，把语言知识编码到decoder里。第二阶段，在第一阶段训练好的模型基础上，通过Finetuning来做具体的NLP任务，迁移能力强。注意在Decoder 中，使用了

>>阅读原文<<