Spark作业提交执行流程源码图

环境:代码图基于Spark 2.2.1 工具:OmniGraffe 最近想完整梳理一下作业提交流程,通过自己的理解画图来学习Spark。 1) 首先了解作业提交后RDD的流动情况 如上图,以RDD构建的DAG给DAGScheduler进行stage划分,DAGScheduler负责stage层面的提交和失败处理。 然后提交taskSet给TaskScheduler进行处理,TaskSchedule
相关文章
相关标签/搜索