MR的shuffer过程

图例： map个数：由任务切片spilt决定的，默认情况下一个split的大小就是block 由参与任务的文件个数决定的  maxSize:由配置参数mapred.max.spilt.size确定,已经不考虑用户设定的maptask个数; minSize:inputSplit的最小值,由配置参数mapred.min.spilt.size确定,默认值为1; BlockSize:HDFS中块的大小 s

>>阅读原文<<