分布式TensorFlow多主机多GPU原理与实现

TF的部署分为单机部署和分布式部署。在训练集数据量很大的状况下，单机跑深度学习程序过于耗时，因此须要分布式并行计算。在分布式部署中，咱们须要在不一样主机节点，实现client，master，worker。python 1. Single-Device Execution 1.1 单机多GPU训练 构建好图后，使用拓扑算法来决定执行哪个节点，即对每一个节点使用一个计数，值表示所依赖的未完成的节点数目

>>阅读原文<<