pig避免产生大量小文件的方法

参考链接:How do I force PigStorage to output a few large files instead of thousands of tiny files?    pig中会为每个输入文件构建一个mapper, 如果中间没有reduce过程,则输入有多少个文件,输出就有多少个文件( If you have thousands of input files, you
相关文章
相关标签/搜索