Spark----Spark 的运行流程

Spark 的运行流程  1、Spark 的基本运行流程  1、构建 DAG 使用算子操作 RDD 进行各种 transformation 操作,最后通过 action 操作触发 Spark 作业运行。 提交之后 Spark 会根据转换过程所产生的 RDD 之间的依赖关系构建有向无环图。      2、DAG 切割 DAG 切割主要根据 RDD 的依赖是否为宽依赖来决定切割节点,当遇到宽依赖就将任
相关文章
相关标签/搜索