使用Horovod 实现TensorFlow、Keras、PyTorch分布式训练

1、什么是Horovod Horovod是基于Ring-AllReduce方法的深度分布式学习插件，以支持多种流行架构包括TensorFlow、Keras、PyTorch等。这样平台开发者只须要为Horovod进行配置，而不是对每一个架构有不一样的配置方法。 Ring-AllReduce方法是把每一个计算单元构建成一个环，要作梯度平均的时候每一个计算单元先把本身梯度切分红N块，而后发送到相邻下一个

>>阅读原文<<