Hadoop2.7.3 mapreduce(一)原理及"hello world"实例

MapReduce编程模型 【1】先对输入的信息进行切片处理。 【2】每个map函数对所划分的数据并行处理,产生不同的中间结果输出。 【3】对map的中间结果数据进行收集整理(aggregate & shuffle)处理,交给reduce。 【4】reduce进行计算最终结果。 【5】汇总所有reduce的输出结果。 【名词解释】 ResourceManager:是YARN资源控制框架的中心模块,
相关文章
相关标签/搜索