MapReduce 原理之Shuffle机制

1.Shuffle机制     Mapreduce 确保每个 reducer 的输入都是按键排序的。系统执行排序的过程（即将 map 输出作为输入传给 reducer ）称为 shuffle 。 2.Partition分区 (1) 问题引出：要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区） (2) 默认partition分区 publi

>>阅读原文<<