MapReduce重点归纳总结

MapReduce归纳总结 文章目录 一、Mapper端的shuffle过程 二、Reducer端的shuffle过程 三、流程图 四、注意问题 五、优化措施 一、Mapper端的shuffle过程 在MapReduce程序刚开始的时候会先对文件进行切片。如果文件不可切，则将整个文件作为一个切片进行处理。如果文件可切，则进行切分，但是需要注意的是如果剩余数据量/splitsize<=1.1，则剩余

>>阅读原文<<