spark 逻辑执行图&物理执行图

1.逻辑执行图 job 会经过哪些transformation 中间会生成哪些rdd rdd之间的依赖关系 narrow dependences :父rdd 中的数据不被拆分 shuffle dependences : 父rdd中的数据被拆分 rdd中的partition个数 一般情况下由父rdd的最大partition个数来决定,部门rdd可以由用户来指定,比如shffledRDD 2.物理执行
相关文章
相关标签/搜索