经常使用并行计算算子原理及其在LightGBM中的实现

1、概述         在大规模机器学习中，须要应对巨大的训练数据及计算量。当单机遇到性能瓶颈时须要经过多台机器并行训练来弥补计算能力与内存的不足。采用并行方式进行机器学习时，经常分为模型并行与数据并行。模型并行是将模型拆分红多个分片，由几个计算节点分别持有，共同协做完成训练，适用于模型规模很是大的情形。数据并行是将数据拆分为不一样的部分，分别存放在不一样的计算节点上，同时每一个计算节点都维护一

>>阅读原文<<