PyTorch 大批量数据在单个或多个 GPU 训练指南

在深度学习训练中，我们经常遇到 GPU 的内存太小的问题，如果我们的数据量比较大，别说大批量（large batch size）训练了，有时候甚至连一个训练样本都放不下。但是随机梯度下降（SGD）中，如果能使用更大的 Batch Size 训练，一般能得到更好的结果。所以问题来了： 问题来了：当 GPU 的内存不够时，如何使用大批量（large batch size）样本来训练神经网络呢？ 这篇文

>>阅读原文<<