hive merge小文件

当Hive输入由不少个小文件组成，因为每一个小文件都会启动一个map任务，若是文件太小，以致于map任务启动和初始化的时间大于逻辑处理的时间，会形成资源浪费，甚至OOM。
为此，当咱们启动一个任务，发现输入数据量小但任务数量多时，须要注意在Map前端进行输入合并
固然，在咱们向一个表写数据时，也须要注意输出文件大小

1. Map输入合并小文件
对应参数：
set mapred.max.split.size=256000000;  #每一个Map最大输入大小
set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小 
set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至少的大小
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;  #执行Map前进行小文件合并

在开启了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后，一个data node节点上多个小文件会进行合并，合并文件数由mapred.max.split.size限制的大小决定。
mapred.min.split.size.per.node决定了多个data node上的文件是否须要合并~
mapred.min.split.size.per.rack决定了多个交换机上的文件是否须要合并~

2.输出合并
set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge

Reference:
Hive AdminManual