Spark 任务调度
Spark 任务调度
1. 任务调度流程图
各个RDD之间存在着依赖关系，这些依赖关系就造成有向无环图DAG，DAGScheduler对这些依赖关系造成的DAG进行Stage划分，划分的规则很简单，从后往前回溯，遇到窄依赖加入本stage，碰见宽依赖进行Stage切分。完成了Stage的划分。DAGScheduler基于每一个Stage生成TaskSet,并将TaskSet提交给TaskScheduler。TaskScheduler 负责具体的task调度,最后在Worker节点上启动task。web
2. DAGScheduler
- DAGScheduler对DAG有向无环图进行Stage划分。
- 记录哪一个RDD或者 Stage 输出被物化（缓存），一般在一个复杂的shuffle以后，一般物化一下(cache、persist)，方便以后的计算。
- 从新提交shuffle输出丢失的stage（stage内部计算出错）给TaskScheduler
- 将 Taskset 传给底层调度器
- – spark-cluster TaskScheduler
- – yarn-cluster YarnClusterScheduler
- – yarn-client YarnClientClusterScheduler
3. TaskScheduler
- 为每个TaskSet构建一个TaskSetManager 实例管理这个TaskSet 的生命周期
- 数据本地性决定每一个Task最佳位置
- 提交 taskset( 一组task) 到集群运行并监控
- 推测执行，碰到计算缓慢任务须要放到别的节点上重试
- 从新提交Shuffle输出丢失的Stage给DAGScheduler
喜欢就点赞评论+关注吧缓存
感谢阅读，但愿能帮助到你们，谢谢你们的支持！svg