[PaperReading]*PSGraph: How Tencent trains extremely large-scale graphs with Spark?

摘要 腾讯TEG在大数据机器学习以及数据挖掘方面，基于Spark，结合参数服务器PS开发了新平台Angel，在图计算方面对比Spark GraphX形成了新的训练模式，结合PS对参数的更新迭代，分布式环境下的数据通信做了新的设计。GraphX在分布式数据通信时，使用join操作导致多个worker之间的数据shuffle，使得模型更新变慢，而且临时数据导致空间利用率下降。而PSGraph使用PS可

>>阅读原文<<