Hadoop2.8.0<Mapreduce模型+shuffle过程>

1.Mapreduce模型 map阶段: 输入数据格式的解析:inputformat 输入数据的处理:mapper 数组分组:partitioner map阶段有一定量的maptask组成,其实就是多线程在处理我们的任务,多个task分布在物理上的多台机器上执行,reduce阶段是由一定数量的reduceTask组成的 reduce阶段 从map阶段的输出结果做一个数据拷贝,把对应的数据拷贝大re
相关文章
相关标签/搜索