为何使用超算中心服务器单节点多GPU训练反而更慢

注：pytorch训练图像算法 由于没有申请多个CPU核心致使CPU加载数据等问题成为瓶颈！！！！！！ 以此博客记念逝去的两天光阴。 能够经过 top watch -n 1 nvidia-smi等查看硬件信息 一开始发现并无怎么利用CPU资源觉得不是CPU的问题，其实否则。。。 一开始我觉得是cuda没装好 我觉得是cudnn没装好 我觉得是磁盘文件加载慢 我觉得是torch版本过低 我觉得是ba

>>阅读原文<<