Horovod 通讯策略

由于最近的工做要和Horovod打交道，因此分析了Horovod的源码。在这里记一笔。html Horovod有几个亮点，第一，它不依托于某个框架，本身经过MPI创建了一套分布式系统，完成了allreduce, allgather等collective operations通讯工做. 第二，发现了Tensor fusion, 梯度传递的时候能够将小的tensor合并成一个大的tensor再进行传递

>>阅读原文<<