分布式训练（理论篇）

https://zhuanlan.zhihu.com/p/129912419 算法分类 Parameter Server Ring All-reduce Ring All-Reduce Naive Approach Ring All-Reduce (Efficient Approach) 更新方式分类 同步式类型 异步式类型 并行方式分类 数据并行 模型并行(model parallel) 模型和

>>阅读原文<<