大数据面试(六)_hadoop中MapReduce工作流程和MapTask、Shuffle、ReduceTask工作机制

MapReduce整个工作流程: 一、MapTask阶段   (1)Read 阶段:Map Task 通过用户编写的 RecordReader,从输入 InputSplit 中解析出 一个个 key/value。 (2)Map 阶段:该节点主要是将解析出的 key/value 交给用户编写 map()函数处理,并 产生一系列新的 key/value。 (3)Collect 收集阶段:在用户编写 m
相关文章
相关标签/搜索