Hadoop的shuffle与spark的区别

Hadoop的shuffle 1.maptask执行，outputcollect收集maptask的输出数据，将数据写入环形缓冲区中，记录起始偏移量(split) 2.环形缓冲区默认大小为100M，当数据达到80M时，记录终止偏移量。 3.启动spiller溢出器，将数据进行分区（默认分组根据key的hash值%reduce数量进行分区），分区内进行快速排序 4.分区，排序结束后，将数据刷写到磁盘

>>阅读原文<<