spark源码系列(4) spark stage划分

我们进入RDD.scala，随便找一个action，就拿count开刀吧 def count(): Long = sc.runJob(this, Utils.getIteratorSize _).sum 这里会调用sparkContext#runJob方法。一直追踪这个方法 最终会发现调用的是 dagScheduler.runJob(rdd, cleanedFunc, partitions, c

>>阅读原文<<