TensorFlow单机与分布式总结

单机多GPU训练 先简单介绍下单机的多GPU训练，然后再介绍分布式的多机多GPU训练。 单机的多GPU训练， tensorflow的官方已经给了一个cifar的例子，已经有比较详细的代码和文档介绍，这里大致说下多GPU的过程，以便方便引入到多机多GPU的介绍。 单机多GPU的训练过程： 通俗解释： 老师给小明和小华布置了10000张纸的乘法题并且把所有的乘法的结果加起来，每张纸上有128道乘法题。

>>阅读原文<<