Spark逻辑图的执行

1、先表结论，如下图所示 2.文字说明 driver 有多少个 action()，就会生成多少个job。从后往前看，RDD有多少个partition（可以在程序中指定）就会有多少个task，但是一个开始有多少个task，则是由原始数据决定的。 如果 stage 是 ShuffleMapStage，那么 new 出来与该 stage 最后一个 RDD 的 partition 数相同的ShuffleM

>>阅读原文<<