优化洗牌（shuffle）和排序阶段

6.4.3 优化洗牌（shuffle）和排序阶段 洗牌和排序阶段都很耗费资源。洗牌需要在map和reduce任务之间传输数据，会导致过大的网络消耗。排序和合并操作的消耗也是很显著的。这一节将介绍一系列的技术来缓解洗牌和排序阶段的消耗。   技术46 规避使用reduce Reduce在用于连接数据集的时候将会产生大量的网络消耗。   问题 需要考虑在MapReduce规避reduce的使用。 方案

>>阅读原文<<