spark shuffle 过程分析

spark shuffle 过程分析: 一普通机制: 1,首先 reduceBykey 是会将每一个 key 对应的所有value聚合成一个value,然后生成一个rdd,元素类型是<k,v>形式，然后每一个k对应一个聚合起来的v 2,每一个k对应的v 不一定在一个节点之上，也不可能是在一个 partition中 3,聚合过程: 1),Shuffle Wri

>>阅读原文<<