用参数服务器扩展分布式机器学习

Scaling Distributed Machine Learning with the Parameter Server 背景 1.大规模机器学习的特点 模型参数很大，超过了单机容量 训练数据量大，需要并行加速 2.分布式机器学习的挑战 高效通信：异步通信模型针对机器学习任务进行了优化，以减少网络流量和开销。 灵活的一致性模型：一致性模型允许开发人员在算法收敛性和系统性能之间进行权衡。 可伸缩

>>阅读原文<<