pytorch学习笔记：pytorch多gpu并行训练

PyTorch-Encoding官方文档对CGBN(cross gpu bn)实现  GPU捉襟见肘还想训练大批量模型？ 在一个或多个 GPU 上训练大批量模型： 梯度累积 充分利用多 GPU 机器：torch.nn.DataParallel 多 GPU 机器上的均衡负载 ： PyTorch-Encoding 的 PyTorch 包，包括两个模块：DataParallelModel 和 DataP

>>阅读原文<<