Spark调度模块

2019独角兽企业重金招聘Python工程师标准>>> 之前我们提到：Driver 的sc负责和Executor交互，完成任务的分配和调度，在底层，任务调度模块主要包含两大部分： 1）DAGScheduler 2 ) TaskScheduler 它们负责将用户提交的计算任务按照DAG划分为不同的阶段并且将不同阶段的计算任务提交到集群进行最终的计算。整个过程可以使用下图表示 1.RDD Object

>>阅读原文<<