Hadoop-MapReduce

一、概述: 以WordCount为例,描述MapReduce的执行过程。 特记(原语):相同的key为一组,调用一次reduce方法,方法内迭代这一组数据进行计算 二、过程(3个map、4个reduce): (红色虚线框框属于reduce流程,左边属于map流程。绿色框框属于Shuffle:描述着数据从map task输出到reduce task输入的这段过程) 1、在HDFS中获取数据,假设数据
相关文章
相关标签/搜索