Spark计算模型RDD(5)——DAG的生成和Spark的任务调度

DAG DAG(Directed Acyclic Graph)叫作有向无环图,原始的RDD经过一系列的转换就造成了DAG,根据RDD之间依赖关系的不一样将DAG划分红不一样的Stage(调度阶段)。 对于窄依赖,partition的转换处理在一个Stage中完成计算。 对于宽依赖,因为有Shuffle的存在,只能在parent RDD处理完成后,才能开始接下来的计算,所以宽依赖是划分Stage的依
相关文章
相关标签/搜索