Mapreduce学习笔记(二)

Mapreduce的Shuffle过程 今天来谈一谈, shuffle过程, shuffle中文翻译是洗牌, 是在map 和reduce之间的一套可编写程序,就像可插拔的组件一样,我们可以编写一些程序来替换它们,以达到我们的需求目的。以下是详细的shuffle过程。 一般需要我们编程的过程有 Combiner, Partition, sort 以及 group。 Combiner: 这个过程实际上
相关文章
相关标签/搜索