MapReduce工作流程概述

Mapreduce工作流程概述  HDFS以固定大小的block为基本单位存储数据，而对于mapreduce而言，其处理单位为split；split是一个逻辑概念，它只包含一些元数据信息，如数据起始位置，数据长度，数据所在节点等，它的划分方法完全由用户自己决定 Map任务数量  Hadoop为每个split创建一个map任务，split多少决定了map任务的数目  大多数情况下，理想的分片大

>>阅读原文<<