Spark-2.0原理分析-shuffle过程

shuffle概览 shuffle过程概览 shuffle数据流概览 shuffle数据流 shuffle工作流程 在运行job时，spark是一个stage一个stage执行的。先把任务分成stage，在任务提交阶段会把任务形成taskset，在执行任务。  spark的DAGScheduler根据RDD的ShuffleDependency来构建Stages： 例如：ShuffleRDD/CoG

>>阅读原文<<