MapReduce中的shuffle流程

2020-7-24 shuffle流程 shuffle流程是指MapOut→ReduceIn中间的过程，从Map的输出开始到Reduce方法之前 总共执行了四次排序，其中两次为归并排序 hadoop权威指南7.3 MapTask 对于MapTask,它会将数据的处理结果暂时放到环形缓冲区100MB，当环形缓冲区的使用率达到一定阈值（80%）之后，会对环形缓冲区的数据进行一次快速排序（排序且按照分区

>>阅读原文<<