[大数据相关] Hive中的全排序:order by,sort by, distribute by

写mapreduce程序时,若是reduce个数>1,想要实现全排序须要控制好map的输出,详见Hadoop简单实现全排序。html 如今学了hive,写sql你们都很熟悉,若是一个order by解决了全排序还用那么麻烦写mapreduce函数吗?sql 事实上,hive使用order by会默认设置reduce的个数=1,既然reducer的个数都是1了,结果天然全排序!分布式 这也违背了充分
相关文章
相关标签/搜索