MapReduce中自定义InputFormat,处理输入小文件的问题,输出时使用SequenceFileOutPutFormat合并文件

1.需求java          不管hdfs仍是mapreduce,对于小文件都有损效率,实践中,又不免面临处理大量小文件的场景,此时,就须要有相应解决             方案。将多个小文件合并成一个SequenceFile文件(SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件            格式),SequenceFile里面存储着多个文
相关文章
相关标签/搜索