spark任务调度流程

   job中的RDD会形成有向无环图(DAG),然后这个DAG会提交给DAGScheduler对象(DAGScheduler是调度任务中的高层调度器,他是在创建sparkcontext也就是启动Driver的时候被创建出来的),它会将job中的RDD依赖关系,根据宽依赖划分成一个个的stage。然后这些被划分好的stage按照taskset的形式发送到TaskScheduler中(TaskSch
相关文章
相关标签/搜索