Horovod源码剖析（一）

Horovod源码剖析： 核心模块 – operations horovod/common/operations.h 首先了解一下mpi常见的通信操作 MPI-Scatter：scatter与broadcast类似都是一对多的通信，将一段array 的不同部分发送给所有的进程 MPI-Boardcast：与scatter进行区分，broadcast是将0号进程将相同的信息发送给所有的进程； MPI

>>阅读原文<<