Hive之MR优化

一、合理设置Map数  （1）一般状况下，做业会经过 input 的目录产生一个或者多个 map 任务sql 主要的决定因素有：数据库     1）input 的文件总个数apache     2）input 的文件大小并发     3）集群设置的文件块大小jvm （2）是否是 map 数越多越好？ 分布式 答案是否认的。若是一个任务有不少小文件（远远小于块大小 128m），则每一个小文件也会被当

>>阅读原文<<