大数据:Spark Shuffle(一)ShuffleWrite:Executor如何将Shuffle的结果进行归并写到数据文件中去

1. 前序 关于Executor如何运行算子,请参考前面博文:大数据:Spark Core(四)用LogQuery的例子来讲明Executor是如何运算RDD的算子,当Executor进行reduce运算的时候,生成运算结果的临时Shuffle数据,并保存在磁盘中,被最后的Action算子调用,而这个阶段就是在ShuffleMapTask里执行的。算法 前面博客中也提到了,用什么ShuffleWr
相关文章
相关标签/搜索