HADOOP | MapReduce篇 (01) 基础

Map 主要负责 “分”， 即把复杂的任务分解为若干个“简单的任务”执行 Reduce 对 map 阶段的结果进行汇总 - Reduce 的数目由mapred-site.xml 配置文件里的项目mapred.reduce.tasks决定。 - 缺省值为 1 Shuffler 是在 mapper 和 reduce 中间的一个步骤 - 可以把 mapper 的输出按照某种 key 值重新切分和组合成

>>阅读原文<<