以wordcount为例详细描述mr执行过程

总结: MR程序的执行过程主要分为三步:Map阶段、Shuffle阶段、Reduce阶段,如上图 Map阶段: 分片(Split):map阶段的输入通常是HDFS上文件,在运行Mapper前,FileInputFormat会将输入文件分割成多个split ——1个split至少包含1个HDFS的Block(默认为128M);然后每一个分片运行一个map进行处理。 执行(Map):对输入分片中的每个
相关文章
相关标签/搜索