浅显易懂的分布式TensorFlow入门教程

How to Write Distributed TensorFlow Code  分布式机器学习策略 模型并行化 当模型过大以至于一台及其的内存承受不住时，可以将计算图的不同部分放到不同的机器中，模型参数的存储和更新都在这些机器中进行。 一个最基本的方法是：把网络第一层放在一台机器上，第二层放在另一台机器上。然而，这样并不好，在前向传播时，较深的层需要等待较浅的层，在发现传播时，较浅的层需要等待

>>阅读原文<<