Spark2.11 任务划分以及执行流程

1、spark Application中可以由不同的action触发job，也就是说一个Application里可以有很多的job，每个job是由一个或者多个stage构成的，后面的stage依赖前面的stage，只有前面依赖的stage计算完成后面的stage才会计算； 2、stage划分的就是根据宽依赖如：reduceByKey、groupByKey等前后就需要划分为两个stage； 3、由a

>>阅读原文<<