Spark RDD的Action执行过程——Task剖析

Pool会依次执行TaskRunner 下面就分析TaskRunner中的run方法 这里调用了task的run方法 这里调用了runTask方法,这个方法是一个抽象方法,有两种实现,一个是ShuffleMapTask的实现,另一个是ResultTask的实现 首先看一下比较复杂的ShuffleMapTask 这里的注意点在于writer.write方法中的rdd.iterator()方法 分析c

>>阅读原文<<