MapReduce过程、Spark和Hadoop以Shuffle为中心的对比分析

mapreduce与Spark的map-Shuffle-reduce过程 mapreduce过程解析（mapreduce采用的是sort-based shuffle） 将获取到的数据分片partition进行解析，得到k/v对，以后交由map()进行处理. map函数处理完成以后，进入collect阶段，对处理后的k/v对进行收集，存储在内存的环形缓冲区中。 当环形缓冲区中的数据达到阀值以后（也可

>>阅读原文<<