pytorch 多GPU训练总结（DataParallel的使用）

这里记录用pytorch 多GPU训练 踩过的许多坑   仅针对单服务器多gpu 数据并行 而不是 多机器分布式训练php 1、官方思路包装模型 这是pytorch 官方的原理图  按照这个官方的原理图  修改应该参照python https://blog.csdn.net/qq_19598705/article/details/80396325数组 上文也用dataParallel 包装了opt

>>阅读原文<<