MapReduce运行机制

MapReduce 的运行流程 整个流程可以分为 split，map，shuffle，reduce，output 五个阶段 1 split 在 split 阶段会把需要处理的数据划分为不同的切片；把个切片交给不同 map 程序进行处理；切片后数据会被解析为 kv 对输入到 map 进行处理。 2 map 在 map 阶段可以对输入的 kv 对进行处理后再以 kv 对的形式输出。 3 Shuffle

>>阅读原文<<