spark任务执行过程，源码分析和on Yarn调度过程

1、spark源码分析执行流程 当spark遇到action类算子，开始调起任务 1.Action类型的算子触发job的执行。源码中调用了SparkContext的runJob()方法，根进源码发现底层调用的是DAGScheduler的runJob()方法。web 2.DAGScheduler会将咱们的job按照宽窄依赖划分为一个个stage(每一个stage根据RDD的Partition的个数决

>>阅读原文<<