简单粗暴，容量大，效果好，1750亿参数的GPT-3

听说须要耗费千万美圆的资金才能训练一个gpt3算法 gpt-3使用的数据集容量达到了45TB，架构 gpt-3具备1750亿个参数，性能 一个gpt-3 模型可能须要要 700G的硬盘空间来存储。 学习 近期大量研究工做代表，经过对大量文本进行预训练，而且针对特定任务进行微调，模型的性能能够在许多 NLP 任务以及基准测试中得到显著提高。测试 如上图所示，x轴的参数，参数数量级越大，准确率越高……

>>阅读原文<<