大数据技术 - MapReduce的Shuffle及调优

大数据技术 - MapReduce的Shuffle及调优 http://www.javashuo.com/article/p-cbpyxgln-kb.html 本章内容我们学习一下 MapReduce 中的 Shuffle 过程,Shuffle 发生在 map 输出到 reduce 输入的过程,它的中文解释是 “洗牌”,顾名思义该过程涉及数据的重新分配,主要分为两部分:1. map 任务输出的数据
相关文章
相关标签/搜索