MapReduce过程详解及其性能优化

废话不说直接来一张图以下：java   从JVM的角度看Map和Reducenode Map阶段包括： 第一读数据：从HDFS读取数据 一、问题:读取数据产生多少个Mapper？？     Mapper数据过大的话，会产生大量的小文件，因为Mapper是基于虚拟机的，过多的Mapper建立和初始化及关闭虚拟机都会消耗大量的硬件资源；apache     Mapper数过小，并发度太小，Job执行时

>>阅读原文<<