Tensorflow分布式并行策略

tensorFlow中主要包括了三种不一样的并行策略，其分别是数据并行、模型并行、模型计算流水线并行，具体参考Tenssorflow白皮书，在接下来分别简单介绍三种并行策略的原理。web 数据并行 一个简单的加速训练的技术是并行地计算梯度，而后更新相应的参数。数据并行又能够根据其更新参数的方式分为同步数据并行和异步数据并行，同步的数据并行方式如图所示，tensorflow图有着不少的部分图模型计算

>>阅读原文<<