pytorc使用多个GPU同时训练及常见问题解决办法

在pytorch上使用多个GPU（在同一台设备上，并非分布式）进行训练是件非常容易的事情，只要在源代码中添加（修改）两行代码即可。下面贴上官方教程给的示例代码。并在文末总结一些自己在使用多GPU实验时发现的问题。 官方tutorial 把模型放在GPU上: device = torch.device("cuda:0") model.to(device) 将tensor复制到GPU上 mytenso

>>阅读原文<<