Caffe-MPI实现多机多卡训练

MPI简介 对MPI的定义是多种多样的 ，但不外乎下面三个方面，它们限定了MPI的内涵和外延。 MPI是一个库，而不是一门语言。许多人认为MPI就是一种并行语言，这是不准确的。但是，按照并行语言的分类，可以把FORTRAN+MPI或C+MPI 看作是一种在原来串行语言基础之上扩展后得到的并行语言。MPI库可以被FORTRAN77/C/Fortran90/C++调用。从语法上说 它遵守所有对库函数/

>>阅读原文<<