一张图看懂Mapreduce的shuffle过程

shuffle过程 从map()的输出到reduce()的输入，中间的过程被称为shuffle过程。 map side 1.在写入磁盘之前，会先写入环形缓冲区(circular memory buffer),默认100M(mapreduce.task.io.sort.mb可修改),当缓冲区内容达到80M(mapre duce.map.sort.spill.percent可修改),缓冲区内容会被溢写

>>阅读原文<<