如何理解Nvidia英伟达的Multi-GPU多卡通信框架NCCL？

问题详情： 深度学习中常常需要多GPU并行训练，而Nvidia的NCCL库NVIDIA/nccl（https://github.com/NVIDIA/nccl）在各大深度学习框架（Caffe/Tensorflow/Torch/Theano）的多卡并行中经常被使用，请问如何理解NCCL的原理以及特点？ 回答： NCCL是Nvidia Collective multi-GPU Communicatio

>>阅读原文<<