MapReduce的详细工作流程

3. MapReduceTask工作流程 整理自Hadoop技术内幕 3.1 概述 MapReduce框架中,一个Task被分为Map和Reduce两个阶段,每个MapTask处理数据集合中的一个split并将产生的数据溢写入本地磁盘;而每个ReduceTask远程通过HTTP以pull的方式拉取相应的中间数据文件,经过合并计算后将结果写入HDFS。 3.2 MapTask 客户端提交任务,规划切
相关文章
相关标签/搜索