spark源码学习(七);task任务的提交分析

                              spark入门学(七)task任务的提交分析            spark虽然在计算速度上比hadoop要强势不少,可是这两个框架在底层的数据流都要通过shuffle。由此,shuffle把spark的job分红两个阶段,一个叫作shuffleMaptask,另一个是resultTask。前者主要是把运算所得的数据结果写到指定的位置,
相关文章
相关标签/搜索