GPT-2及与GPT的对比

对比 5. 其他：GPT-2将词汇表数量增加到50257个；最大的上下文大小 (context size) 从GPT的512提升到了1024 tokens；batchsize增加到512。 GPT-2本身的一些细节 GPT2的创新点在于验证了无监督的语言建模能够学习到有监督任务所需的特征。 在模型输入方面，GPT-2 采用的是 Byte Pair Encoding(以下简称 BPE)的 Subwo

>>阅读原文<<