大数据应用技术实验报告三 MapReduce分布式编程

MapReduce 分布式计算系统 Mapper负责“分” 分解计算任务，规模大大缩小； “计算向数据靠近” ； 这些小任务可以并行计算。 Reducer负责“汇总” map阶段的结果 Combiner函数 本地化的reducer Partitioner函数 决定着Map节点的输出将被分区到哪个Reduce节点 什么是shuffle 怎样把map task的输出结果有效地传送到reduce端？ m

>>阅读原文<<