Caffe 多GPU卡相关代码理解

Caffe的NVIDIA GPU多卡训练使用NVIDIA nccl进行管理的，具体细节需要进一步深入的学习理解。当前只描述它的基本实现过程。 Class的基本关联关系图 基本流程 初始化阶段---构造NCCL 初始化solver_。 初始化size_(所有要学习的blobs的大小之和)。 获取并指定GPU卡(默认为0)，分配size_大小的GPU内存data_(用于保存weight和bias的数据

>>阅读原文<<