OpenAI披露最新研究成果：AI训练如何扩展到更大规模？

我们发现，梯度噪声尺度（gradient noise scale），作为一种简单的统计量，可以预测神经网络训练在诸多任务上的并行性。由于复杂的任务往往具有更强噪声的梯度，因此增长的大批次规模可能在未来变得更加有用，也消除了AI系统进一步发展的一个潜在限制。更广泛地说，这些结果表明，神经网络训练并不需要被看成一门神秘的艺术，而是可以得到严格的规范化和系统化。 在过去几年内，AI研究人员采用数据并行化

>>阅读原文<<