MapReduce分布式编程

Combiner函数 本地化的reducer Partitioner函数 决定着Map节点的输出将被分区到哪个Reduce节点 什么是shuffle 怎样把map task的输出结果有效地传送到reduce端？ map输出之前，在内存里经过sort和combiner，再将所有的输出集合到 partitioner进行划分到不同的reducer，在每个分区（partition）中，再进行内存中排序，再

>>阅读原文<<