Spark源码分析之一:Job提交运行总流程概述

        Spark是一个基于内存的分布式计算框架,运行在其上的应用程序,按照Action被划分为一个个Job,而Job提交运行的总流程,大体分为两个阶段:数据结构         一、Stage划分与提交框架         (1)Job按照RDD之间的依赖关系是否为宽依赖,由DAGScheduler划分为一个个Stage,并将每一个Stage提交给TaskScheduler;分布式  
相关文章
相关标签/搜索