mapreduce的shuffle机制

解释 mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程；具体来说，就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排序； 核心机制：数据分区，排序，缓存； shuffle是MR处理流程中的一个过程，它的每一个处理步骤是分散在各个map task和reduce task节点

>>阅读原文<<