hadoop_mapreduce_shuffle洗牌

shuffle是整个mapreduce的核心。下面这篇文章写得很详细,把内容复制过来了: https://blog.csdn.net/clerk0324/article/details/52461135     其中,Step2.1就是一个Shuffle操作,它针对多个map任务的输出按照不同的分区(Partition)通过网络复制到不同的reduce任务节点上,这个过程就称作为Shuffle。
相关文章
相关标签/搜索