Tensorflow分布式机器学习平台

分布式机器学习的必要性： TF的实现分为了单机实现和分布式实现，在分布式实现中，需要实现的是对client，master，worker process不在同一台机器上时的支持。 数据量很大的情况下，单机跑深度学习程序，过于耗时，所以需要TensorFlow分布式并行。 分布式机器学习分为单机多卡训练与多机多卡训练。   单机多GPU训练：   单机多GPU的训练过程： CPU承担了调度与参数的保存

>>阅读原文<<