Hadoop MapReduce编程 API入门系列之小文件合并(二十九)

  Hadoop 自身提供了几种机制来解决相关的问题,包括HAR,SequeueFile和CombineFileInputFormat。       Hadoop 自身提供的几种小文件合并机制 Hadoop HAR         将众多小文件打包成一个大文件进行存储,并且打包后原来的文件仍然可以通过Map-reduce进行操作,打包后的文件由索引和存储两大部分组成         缺点:一旦创建
相关文章
相关标签/搜索