spark 作业执行原理源码阅读(三)

概述 作业(Job) 调度阶段(stage) 任务(Task) DAGScheduler:面向调度阶段的任务调节器,负责接收spark应用提交的作业,根据RDD的依赖关系(根据宽依赖划分)划分调度阶段,并提交stage给TaskScheduler。 TaskScheduler:面向任务的调度器,接收DAGScheduler提交过来的stage,然后以stage划分后的结果,将Task分发到Work
相关文章
相关标签/搜索