Hadoop的MapReduce执行流程图

Hadoop的MapReduce shuffle过程，很是重要。只有熟悉整个过程才能对业务了如指掌。

MapReduce执行流程

输入和拆分：

    不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的map准备数据。

    分片（split）操做：

    split只是将源文件的内容分片造成一系列的 InputSplit，每一个 InputSpilt 中存储着对 应分片的数据信息（例如，文件块信息、起始位置、数据长度、所在节点列表…），并非将源文件分割成多个小文件，每一个InputSplit 都由一个 mapper 进行后续处理。

    每一个分片大小参数是很重要的，splitSize 是组成分片规则很重要的一个参数，该参数由三个值来肯定：

    minSize：splitSize 的最小值，由 mapred-site.xml 配置文件中 mapred.min.split.size 参数肯定。

    maxSize：splitSize 的最大值，由 mapred-site.xml 配置文件中mapreduce.jobtracker.split.metainfo.maxsize 参数肯定。

    blockSize：HDFS 中文件存储的快大小，由 hdfs-site.xml 配置文件中 dfs.block.size 参数肯定。

    splitSize的肯定规则：splitSize=max{minSize，min{maxSize，blockSize}}

    数据格式化（Format）操做：

   将划分好的 InputSplit 格式化成键值对形式的数据。其中 key 为偏移量，value 是每一行的内容。

    值得注意的是，在map任务执行过程当中，会不停的执行数据格式化操做，每生成一个键值对就会将其传入 map，进行处理。因此map和数据格式化操做并不存在先后时间差，而是同时进行的。

    2)Map 映射：

    是 Hadoop 并行性质发挥的地方。根据用户指定的map过程，MapReduce 尝试在数据所在机器上执行该 map 程序。在 HDFS中，文件数据是被复制多份的，因此计算将会选择拥有此数据的最空闲的节点。

    在这一部分，map内部具体实现过程，能够由用户自定义。

    3)Shuffle 派发：

    Shuffle 过程是指Mapper 产生的直接输出结果，通过一系列的处理，成为最终的 Reducer 直接输入数据为止的整个过程。这是mapreduce的核心过程。该过程能够分为两个阶段：

    Mapper 端的Shuffle：由 Mapper 产生的结果并不会直接写入到磁盘中，而是先存储在内存中，当内存中的数据量达到设定的阀值时，一次性写入到本地磁盘中。并同时进行 sort（排序）、combine（合并）、partition（分片）等操做。其中，sort 是把 Mapper 产 生的结果按照 key 值进行排序；combine 是把key值相同的记录进行合并；partition 是把 数据均衡的分配给 Reducer。

    Reducer 端的 Shuffle：因为Mapper和Reducer每每不在同一个节点上运行，因此 Reducer 须要从多个节点上下载Mapper的结果数据，并对这些数据进行处理，而后才能被 Reducer处理。

   4)Reduce 缩减：

    Reducer 接收形式的数据流，造成形式的输出，具体的过程能够由用户自定义，最终结果直接写入hdfs。每一个reduce进程会对应一个输出文件，名称以part-开头。

  欢迎补充。