『TensorFlow』分布式训练_其三_多机分布式

转载自：https://www.cnblogs.com/hellcat/p/9194115.html 一、基本概念 Cluster、Job、task概念：三者可以简单的看成是层次关系，task可以看成每台机器上的一个进程，多个task组成job；job又有：ps、worker两种，分别用于参数服务、计算服务，组成cluster。 同步更新 各个用于并行计算的电脑，计算完各自的batch 后，求取梯

>>阅读原文<<