论文笔记——分布式深度学习框架下基于性能感知的DBS—SGD算法

论文笔记——分布式深度学习框架下基于性能感知的DBS—SGD算法 分布式深度学习框架下基于性能感知的DBS—SGD算法 这篇论文里各个细节都讲得特别清楚。 充分考虑了各个客户端端点的异构性，同时考虑了异步训练过程中梯度过时得到问题。 对各节点的minibatch进行动态分配，保证了节点间每次迭代更新的时间基本一致，进而降低了节点的平均梯度过时值。   分布式架构中的参数服务器 参数服务器的两个操作

>>阅读原文<<