GPT2--Language Models are Unsupervised Multitask Learners

Abstact GPT2的核心思想就是认为能够用无监督的预训练模型去作有监督任务。 Introduction: 典型应用:最著名的语言模型就是手机上面的输入法,根据当前输入词推荐下一个词 目标上想构造一个通用的NLP模型,能够执行不少任务,不须要为每一个任务手动建立和标记数据集 多任务学习:把多个相关的任务放在一块儿学习,同时学习多个任务。 基于共享表示,把多个相关的任务放在一块儿学习的机器学习方
相关文章
相关标签/搜索