Hive_内部排序(Sort By)

每一个MapReduce内部排序(Sort By)code

Sort By:对于大规模的数据集order by的效率很是低。在不少状况下,并不须要全局排序,此时可使用sort byblog

Sort by为每一个reducer产生一个排序文件。每一个Reducer内部进行排序,对全局结果集来讲不是排序。排序

1.设置reduce个数it

hive (default)> set mapreduce.job.reduces=3;

2.查看设置reduce个数class

hive (default)> set mapreduce.job.reduces;

3.根据部门编号降序查看员工信息效率

hive (default)> select * from emp sort by deptno desc;

4.将查询结果导入到文件中(按照部门编号降序排序)module

hive (default)> insert overwrite local directory '/opt/module/datas/sortby-result'
select * from emp sort by d
相关文章
相关标签/搜索