理解MapReduce执行过程

1. MapReduce简介 (1)MapReduce是一种分布式计算模型,是Google提出的,主要用于搜索领域,解决海量数据的计算问题。 (2)MR有两个阶段组成:Map和Reduce,用户只需实现map()和reduce()两个函数,即可实现分布式计算。 2. MapReduce的执行过程 上述图示过程描述如下: 1、Map任务处理 1.1 读取HDFS中的文件。每一行解析成一个<k,v>。
相关文章
相关标签/搜索