【ASPLOS '19】Hop: Heterogeneity-aware Decentralized Training

[ASPLOS '19] Hop: Heterogeneity-aware Decentralized Training算法 最近的工做代表,在机器学习的环境中,分散式算法能够提供优于集中式算法的性能。这两种方法的主要区别在于它们独特的通讯模式,这两种方法都易于在异构环境中下降性能。尽管已经作出了巨大努力来支持针对异构性的集中式算法,可是关于该问题的分散式算法却鲜有研究。本文提出了Hop,这是第一
相关文章
相关标签/搜索