Spark 的Shuffle过程详解

1、Shuffle的做用是什么？ Shuffle的中文解释为“洗牌操做”，能够理解成将集群中全部节点上的数据进行从新整合分类的过程。其思想来源于hadoop的mapReduce,Shuffle是链接map阶段和reduce阶段的桥梁。因为分布式计算中，每一个阶段的各个计算节点只处理任务的一部分数据，若下一个阶段须要依赖前面阶段的全部计算结果时，则须要对前面阶段的全部计算结果进行从新整合和分类，这就

>>阅读原文<<