并行训练的原理 | Tensor Flow 支持使用多个GPU 或者机器实现深度学习模型的并行训练

Tensor Flow 支持使用多个GPU 或者机器实现深度学习模型的并行训练，但在此之前需要了解并行训 练的原理以及如何并行化地训练深度学习模型才更加合理。大体上，实现深度学习模型的并行化训练、可以分为两种不同的方式一一数据并行的方式和模型并行的方式，在本节将对这两种方式进行介绍并比较二者间的优劣。首先看一下不使用并行的方式训练深度学习模型的过程，整个过程如下图所示。在每一轮法代训练 中，当前参

>>阅读原文<<