真正让你明白Hive参数调优系列2:如何控制reduce个数与参数调优

       相比map个数的控制复杂性,reduce个数的设定要相对简单多了,reduce的个数通常最后决定了输出文件的个数,两者相等,若是想多输出文件的个数(这样文件变小,但有可能程序变慢),那么能够人为增长reduce个数。若是想减小文件个数,也能够手动较少reduce个数(一样可能程序变慢)。但实际开发中,reduce的个数通常经过程序自动推定,而不人为干涉,由于人为控制的话,若是使用不当
相关文章
相关标签/搜索