MapReduce:详解shuffle

shuffle简介 MapReduce的shuffle一般是指Map输出到Reduce输入的整个过程。 整个shuffle过程中伴随着大量的磁盘IO , 网络IO 。 shuffle性能的高低 , 直接决定了整个程序的性能高低 。 shuffle的字面意思是洗牌 , 即有序 - 无序的一个过程 , 比如JDK中的shuffle , 它的作用就是随机打乱集合中的元素 。但在MapReduce中 ,

>>阅读原文<<