单机多 GPU 加速 TensorFlow 程序

模型并行意味着需要根据不同模型设计不同的并行方式，并将模型中不同计算节点放在不同硬件资源上运算。相比模型并行而言，数据并行比较通用，并且能简便地实现大规模并行。 数据并行的通用性表现在它几乎适用于所有深度学习模型。我们可以 利用多块 GPU 同时进行模型训练，运行在每块 GPU上的模型会获得属于自 己的一份 batch 数据，并且这些模型都是同一个神经网络，它们共享一份模型参数。 首先导入一些相关

>>阅读原文<<