OpenAI-GPT（Generative Pre-Training）详解

在GPT出现之前，通用的使用预训练的方式是word2vec，即学习词语的表达。而在GPT出现之后，通用的预训练方式是预训练整个网络然后通过fine-tune去改进具体的任务。 GPT出现之后，引发了Bert，XLNet等一系列的地震式改进。对NLP任务的影响十分深远。 GPT的核心思想是先通过无标签的文本去训练生成语言模型，再根据具体的NLP任务（如文本蕴涵、QA、文本分类等），来通过有标签的数据

>>阅读原文<<