NLP论文解读:GPT-2

NLP论文解读:GPT-2 摘要 天然语言处理中,使用标注数据集的有监督fine-tuning方法成为主流。本文使用自行构建的新数据集WebText构建了一个语言模型直接处理下游任务。处理阅读理解任务时,GPT-2没有使用该task的标准训练集CoQA(127000+)进行fine-tuning,仍然好过4个baseline中的3个。语言模型的容量是零样本学习任务的重要成功要素,本文的模型有15亿
相关文章
相关标签/搜索