GPU为什么能加速深度学习训练

GPU不同于传统的CPU,如Intel i5i7处理器,其内核数量较少,专为通用计算而设计。相反,GPU是一种特殊类型的处理器,具有数百或数千个内核,经过优化,可并行运行大量计算。虽然GPU在游戏中以3D渲染而闻名,但它们对运行分析、深度学习机器学习算法尤其有用。GPU允许某些计算比传统CPU上运行相同的计算速度快10倍至100倍。 (出自维基百科)

GPU中有大量的运算单元,其核心可能有几千个,所以适合运行一些并行的程序,而深度网络就是一个并行计算的典型,如CNN中卷积的运算,使用GPU并行计算能节省大量时间。