hive控制文件生成个数

在有些时候，想要控制hql执行的mapper,reducer个数,reducer设置过少，会致使每一个reducer要处理的数据过多，这样可能会致使OOM异常，若是reducer设置过多，则会致使产生不少小文件，这样对任务的执行以及集群都不太好.一般状况下这两个参数都不须要手动设置，Hive会根据文件的大小和任务的状况自动计算,可是某些特殊状况下可能须要进行调优，下面列举两个经常使用的调优场景看看

>>阅读原文<<