为什么GPU训练网络还不如CPU快

为什么GPU训练网络还不如CPU快 当网络规模较小的时候，GPU是无法体现出计算上的优势的，可能不光没有加速效果，反而还不如CPU训练的快。 只要加大网络规模，当网络足够大的时候，GPU才能显示出它的加速效果 Pytorch官网的这篇tutorial也提到相关的内容 如下 将下图红框参数都改为200 在我笔记本上的加速效果如下,有三倍多的速度提升 CPU训练用时20m0s GPU训练用时5m59s

>>阅读原文<<