大数据-什么是MapReduce？&&数据本地化&MapReduce原理及执行流程&&Shuffle的调优

一、什么是MapReduce？ 一、概述 MapReduce是Hadoop提供的一套用于进行分布式计算的框架 将计算过程拆分为2个阶段：Map映射阶段和Reduce规约阶段 如图所示： MapReduce在对文件进行计算的时候，会先将文件进行切片，切片和切块不一样，每个切片对应MapTask默认情况下，每一个MapTask在拿到切片之后会进行按行读取按行处理 二、MapReduce的数据本地化 二

>>阅读原文<<