深度学习TensorFlow如何使用多GPU并行模式？

TensorFlow能够用单个GPU，加速深度学习模型的训练过程，但要利用更多的GPU或者机器，须要了解如何并行化地训练深度学习模型。 经常使用的并行化深度学习模型训练方式有两种：同步模式和异步模式。 下面将介绍这两种模式的工做方式及其优劣。 以下图，深度学习模型的训练是一个迭代的过程。 在每一轮迭代中，前向传播算法会根据当前参数的取值，计算出在一小部分训练数据上的预测值，而后反向传播算法，再根据

>>阅读原文<<