MapReduce的Shuffle和排序

Shuffle MapReduce确保每个Reducer的输入都是按键排序的。 系统执行排序的过程，即，将map输出作为输入传给Reducer的过程称为Shuffle。 了解Shuffle的过程，有助于我们理解MapReduce的工作机制。 Map端 map函数开始产生输出时，并不是简单的将它写到磁盘，而是利用缓冲的方式写到内存，并出于效率考虑，进行排序。 1）每个输入分片由一个Map任务处理。(

>>阅读原文<<