Hadoop渐进四:MapRaduce流程简述

一、MapRaduce介绍 MapReduce是一种编程模型,具有在多节点上并行处理大数据的能力。MapReduce算法包含两个重要的事务,分别是Map和Reduce: 1、Map:把大量复杂任务分解成多个少量简单任务; 2、Reduce:将多个少量任务结果进行归类汇总。  二、Map/Reduce步骤  1、Map:负责数据的过滤分发 (1)、Splitting:从数据源(HDFS的数据块)获取
相关文章
相关标签/搜索