【图文详细 】HDFS面试题:当小文件数量过多时,如何合并小文件

当每一个小文件数据量比较小的时候,能够经过命令的方式进行小文件的合并如:app hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt,当数据量比较大的时候建议使用MR进行小文件的合并oop
相关文章
相关标签/搜索