深度学习平台的分布式实现综述

前一篇文章中，咱们提到了Eric Xing教授针对如何构建大规模机器学习平台的综述[1]，包含数据并行，模型并行等，那么具体到深度学习来讲，应当如何有效构建呢？本文在这方面作个简要概述。git 若是模型可以在单个节点装下，那么采用数据并行是最适合的，利用DownpourSGD（既DistBelief）结构的参数服务器能够很容易实现分布式深度学习，这种方式很适合于大量数据和较小模型的训练方式。git

>>阅读原文<<