余老师带你学习大数据-Spark快速大数据处理第三章第七节​MR内部机制调优

MapReduce基本原理 输入数据是怎么来的 Hadoop将我们的输入数据划分为等长的数据块，被称为输入的分片，Hadoop为每个分片构建一个map任务，并用该任务来运行用户自定的map函数来处理分片中的每一条记录，map结果就是每一条记录输出的结果。 负载均衡 每个分片所需的时间少于处理输入数据所花的时间。因此，如果并行的处理每个分片，且每个分片的数据比较，那么整个处理过程将获得更好的负载均衡

>>阅读原文<<