Spark2.11 任务划分以及执行流程

一、spark Application中能够由不一样的action触发job，也就是说一个Application里能够有不少的job，每一个job是由一个或者多个stage构成的，后面的stage依赖前面的stage，只有前面依赖的stage计算完成后面的stage才会计算； 二、stage划分的就是根据宽依赖如：reduceByKey、groupByKey等先后就须要划分为两个stage； 三、

>>阅读原文<<