Mapreduce (2)

Map阶段 shuffle阶段 此时新的是一个集合,注意三个节点都在同时进行 Reduce阶段 reduce方法主要把新的转换为,一旦执行该方法,就变成Reduce Task,此时Reduce Task有几个,完全根据自己的业务的逻辑,例如第一个Reduce Task根据字节长长度小于5的拉过来,如图,接着Reduce Task接着对其所对应的进行排序和合并,最终产生我们想要的键值对,接着设置一个
相关文章
相关标签/搜索