Mapreduce计算过程

Mapreduce计算过程 分为三个部分，map、shuffle和reduce，map负责对文件切片后的原始数据转化为key-value键值对，shuffle负责将map的结果进行整体分发给reduce作为输入，reduce对不同map任务得到的数据进行合并处理，得到最终的数据文件。 shuffle过程 shuffle在map端和reduce都参与操作，所以可以分为map shuffle和redu

>>阅读原文<<