Spark物理图的执行

1、先表结论,如下图所示: 2、文字说明: 在每个stage阶段,是由一系列transformation(或者说task)组成的,每个task对应了一次partitionàpartition的transformation操作;而不同stage之间则是shuffle,当然也是partitionàpartition。 在job中,每个stage阶段的partition变换是窄依赖,且partition
相关文章
相关标签/搜索