Map和Reduce任务的优化

编程总是围绕着两个问题：“如何完成这个任务”和“如何能让程序运行得更快” 因此，相对应的MapReduce计算模型的优化也就集中在两个方面：一是计算性能方面的优化；二是I/O操作方面的优化 1、任务调度 两个方面的优化：一是计算方面：Hadoop总会先将任务分配给空闲的机器，使所有的任务能公平地分享系统资源；二是I/O方面：Hadoop会尽量将map任务分配给InputSplit所在的机器，以减少

>>阅读原文<<