ring-allreduce简介

今天无聊看到了ring-allreduce的gpu通信算法，本来希望在相关网页上看看相关介绍的，但是在baidu research上却搜不到相关的东西，后来看了看baidu-allreduce代码的注释，才明白。这是一个说明起来挺简单的算法，自己打算随便说说。 觉得英文好的可以直接看看GitHub上注释，写的很清晰：https://github.com/baidu-research/baidu-a

>>阅读原文<<