shuffle流程简介

官方流程图： Shuffle是MapReduce处理流程中的一个核心过程，它的每一个处理步骤是分散在maptask和reducetask节点上完成的，整体来看，分为3个核心操作： 1、分区partition 2、排序sort 3、合并combine 详细流程： 一、MAP 一个切片对应一个Maptask 1、分区（可参考：MapReduce切片、并行度、分区） 在将map()函数处理后得到的（ke

>>阅读原文<<