pytorch分布式训练使用笔记

参考： DDP使用讲解：https://zhuanlan.zhihu.com/p/113694038 官方ImageNet分布式训练案例： https://github.com/pytorch/examples/blob/e49fa5846f/imagenet/main.py 官方DDP使用案例： https://github.com/pytorch/examples/blob/e49fa5846

>>阅读原文<<