【hadoop】21.MapReduce-shuffle机制

简介

hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。shuffle的主要工做是从Map结束到Reduce开始之间的过程。首先看下这张图，就能了解shuffle所处的位置。图中的partitions、copy phase、sort phase所表明的就是shuffle的不一样阶段。

shuffle阶段又能够分为Map端的shuffle和Reduce端的shuffle。

须要注意的是，shuffer是Hadoop框架不断改进的核心，所以，极可能本文的有些细节已经在不一样的版本中进行了大改，但不论如何，咱们只要了解其工做原理便可。

一、shuffer解析

下面的流程是整个mapreduce最全工做流程，可是shuffle过程只是从第7步开始到第16步结束，而其中的黄色外框部分均是咱们能够操做的部分。

具体shuffle过程详解，以下：

• maptask收集咱们的map()方法输出的kv对，放到内存缓冲区中
• 从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件
• 多个溢出文件会被合并成大的溢出文件
• 在溢出过程当中，及合并的过程当中，都要调用partitoner进行分组和针对key进行排序
• reducetask根据本身的分区号，去各个maptask机器上取相应的结果分区数据
• reducetask会取到同一个分区的来自不一样maptask的结果文件，reducetask会将这些文件再进行合并（归并排序）

合并成大文件后，shuffle的过程也就结束了，后面进入reducetask的逻辑运算过程（从文件中取出一个一个的键值对group，调用用户自定义的reduce()方法）。

须要注意的是，Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快。 缓冲区的大小能够经过参数调整，参数：io.sort.mb 默认100M。

1.一、Map端的shuffle

　Map端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘，而不是HDFS。写磁盘的过程并非简单的直接写，而是每一个Map的输出会先写到内存缓冲区中，当写入的数据达到设定的阈值时，系统才会启动一个线程将缓冲区的数据写到磁盘，这个过程叫作spill。

spill —— 溢出;泼出;涌出;蜂拥而出。

在spill写入以前，会先进行二次排序，首先根据数据所属的partition进行排序，而后每一个partition中的数据再按key来排序。partition的目是将记录划分到不一样的Reducer上去，以指望可以达到负载均衡，之后的Reducer就会根据partition来读取本身对应的数据（咱们接下来会练习这些过程）。

接下来运行combiner(若是设置了的话)，combiner的本质也是一个Reducer，其目的是对将要写入到磁盘上的文件先进行一次处理，这样，写入到磁盘的数据量就会减小。

紧接着将数据写到本地磁盘产生spill文件(spill文件保存在{mapred.local.dir}指定的目录中，Map任务结束后就会被删除)。

最后，每一个Map任务可能产生多个spill文件，在每一个Map任务完成前，会经过多路归并算法将这些spill文件归并成一个文件。至此，Map的shuffle过程就结束了。

1.二、reduce端的shuffle

Reduce端的shuffle主要包括三个阶段:

• copy
• sort(merge)
• reduce

首先要将Map端产生的输出文件拷贝到Reduce端，但每一个Reducer如何知道本身应该处理哪些数据呢？由于Map端进行partition的时候，实际上就至关于指定了每一个Reducer要处理的数据(partition就对应了Reducer)，因此Reducer在拷贝数据的时候只需拷贝与本身对应的partition中的数据便可。

每一个Reducer会处理一个或者多个partition，但须要先将本身对应的partition中的数据从每一个Map的输出结果中拷贝过来。

接下来就是sort阶段，也称为merge阶段。由于这个阶段的主要工做是执行了归并排序。从Map端拷贝到Reduce端的数据都是有序的，因此很适合归并排序。最终在Reduce端生成一个较大的文件做为Reduce的输入。

最后就是Reduce过程了，在这个过程当中产生了最终的输出结果，并将其写到指定文件系统中。

解析来咱们针对具体的流程进行分析。