MapReduce笔记

一、mapreduce框架原理 1、 mapreduce按照task分,分为maptask和reducetask 2、 mapreduce按流程划分分为inputformat,map,shuffle,reducer,outputformat 二、shuffle流程 1、 map()将<k,v>写入环形缓冲区,并且,在写入环形缓冲区之前,这个<k,v>已经知道了它在哪个分区,但是在环形缓冲区中,<k
相关文章
相关标签/搜索