OpenAI-GPT(Generative Pre-Training)详解

在GPT出现之前,通用的使用预训练的方式是word2vec,即学习词语的表达。而在GPT出现之后,通用的预训练方式是预训练整个网络然后通过fine-tune去改进具体的任务。 GPT出现之后,引发了Bert,XLNet等一系列的地震式改进。对NLP任务的影响十分深远。 GPT的核心思想是先通过无标签的文本去训练生成语言模型,再根据具体的NLP任务(如文本蕴涵、QA、文本分类等),来通过有标签的数据
相关文章
相关标签/搜索