Spark内核之美(三):DAGScheduler的原理与源码分析

1、前言 RDD具有延迟计算的特性,当操作是transformation算子的时候,并不执行操作,直到遇到action算子的时候才开始执行计算。Spark会根据Action操作之前一系列Transform操作的关联关系,生成一个DAG,在后续的操作中,对DAG进行Stage划分,生成Task并最终运行。 表1  Spark中支持的RDD转换(transformation算子)和动作(action算
相关文章
相关标签/搜索