简单粗暴，容量大，效果好，1750亿参数的GPT-3

据说需要耗费千万美元的资金才能训练一个gpt3 gpt-3使用的数据集容量达到了45TB， gpt-3具有1750亿个参数， 一个gpt-3 模型可能需要要 700G的硬盘空间来存储。 近期大量研究工作表明，通过对大量文本进行预训练，并且针对特定任务进行微调，模型的性能可以在许多 NLP 任务以及基准测试中获得显著提升。 如上图所示，x轴的参数，参数数量级越大，准确率越高…… 该研究使用了和 GP

>>阅读原文<<