MapReduce Shuffle详解

首先，我们先将MR Shuffle的整个流程进行简述： 一.概要： Map端 分区 排序 合并 Reduce端 复制 归并 reduce 大概分为五个主要步骤 二.架构图 三.详解 Map端 分区 Partition 首先，为了减少频繁IO的操作，先将数据写入到环形内存缓冲区中，默认大小为100MB，缓冲区中存在一个可设置的阙值（默认为0.8），当阙值达到0.8时，会启动后台线程将数据到磁盘，即缓

>>阅读原文<<