GPT1-3（GPT3/few-shot,无需finetune）

GPT1–finetune 12层单向transformer 预训练+精调 被bert比下去了 GPT2-元学习 输入：加上任务描述 “英翻法：This is life” 输出： “C’est la vie” 参数15亿 在NLU:比不上bert 也比不过其余大参数模型：如Turing-NLG GPT3-Language Models are Few-Shot Learners paper连接：h

>>阅读原文<<