【Hadoop】22-shuffle和排序

MapReduce确保每个reducer的输人都是按键排序的。系统执行排序、将map输出作为输人传给reducer的过程称为shuffle。在此,我们将学习shuflle是如何工作的,因为它有助于我们理解工作机制(如果需要优化MapReduce程序)。shuffle属于不断被优化和改进的代码库的一部分,因此下面的描述有老要隐藏一些细节(也可能随时间而改变,目前是020版本)。从许多方面来看,shu
相关文章
相关标签/搜索