Horovod

Horovod是一个支持TensorFlow、Keras、PyTorch和Apache MXNet的分布式训练框架。Horovod的目标是让分布式深度学习更快更易用。  为啥不用原生的TensorFlow分布式训练?  1、代码改动多少? 2、比原生的分布式训练快多少? Horovod用的MPI比分布式TensorFlow用的parameter servers,简单直接得多。而且,Horovod更
相关文章
相关标签/搜索