深度学习TensorFlow如何使用多GPU并行模式？

TensorFlow可以用单个GPU，加速深度学习模型的训练过程，但要利用更多的GPU或者机器，需要了解如何并行化地训练深度学习模型。 常用的并行化深度学习模型训练方式有两种：同步模式和异步模式。 下面将介绍这两种模式的工作方式及其优劣。 如下图，深度学习模型的训练是一个迭代的过程。 在每一轮迭代中，前向传播算法会根据当前参数的取值，计算出在一小部分训练数据上的预测值，然后反向传播算法，再根据损失

>>阅读原文<<