pslite技术内幕(一):理论篇

介绍 分布式的优化和推断已经成为解决大数据机器学习问题的重要问题。由于数据规模的不断增长,以及越来越复杂的模型(表现在模型参数的不断增长)的提出,单机已经无法有效的解决这些问题。实现高效分布式的算法并不容易,密集的计算负载和大量的数据通信都需要精心的系统设计。 现实训练数据的规模可能再1TB和1PB之间。模型的参数的个数在 1 0 9 10^9 109到 1 0 10 10^{10} 1010之间
相关文章
相关标签/搜索