分布式深度学习的两种集群管理与调度的实现方式简介

为什么需要集群管理与调度 上文我们简单介绍了深度学习、分布式CPU+GPU集群的实现原理，以及分布式深度学习的原理，我们简单回顾一下： 分布式CPU+GPU集群的实现： GPU集群并行模式即为多GPU并行中各种并行模式的扩展，如上图所示。节点间采用InfiniBand通信，节点间的GPU通过RMDA通信，节点内多GPU之间采用基于infiniband的通信。 分布深度学习框架的实现： 如下图所示，

>>阅读原文<<