GPT-2及与GPT的对比

对比 5. 其余：GPT-2将词汇表数量增长到50257个；最大的上下文大小 (context size) 从GPT的512提高到了1024 tokens；batchsize增长到512。 web GPT-2自己的一些细节 GPT2的创新点在于验证了无监督的语言建模可以学习到有监督任务所需的特征。算法 在模型输入方面，GPT-2 采用的是 Byte Pair Encoding(如下简称 BPE)的

>>阅读原文<<