pytorch分布式训练（二init_process_group）

backend str/Backend 是通讯所用的后端，能够是"ncll" "gloo"或者是一个torch.distributed.Backend类（Backend.GLOO） init_method str 这个URL指定了如何初始化互相通讯的进程 world_size int 执行训练的全部的进程数 rank int this进程的编号，也是其优先级 timeout timedelta 每

>>阅读原文<<