hive中order by,sort by, distribute by, cluster by做用以及用法

1. order by

    Hive中的order by跟传统的sql语言中的order by做用是同样的，会对查询的结果作一次全局排序，因此说，只有hive的sql中制定了order by全部的数据都会到同一个reducer进行处理（无论有多少map，也无论文件有多少的block只会启动一个reducer）。可是对于大量数据这将会消耗很长的时间去执行。

    这里跟传统的sql还有一点区别：若是指定了hive.mapred.mode=strict（默认值是nonstrict）,这时就必须指定limit来限制输出条数，缘由是：全部的数据都会在同一个reducer端进行，数据量大的状况下可能不能出结果，那么在这样的严格模式下，必须指定输出的条数。

2. sort by

    Hive中指定了sort by，那么在每一个reducer端都会作排序，也就是说保证了局部有序（每一个reducer出来的数据是有序的，可是不能保证全部的数据是有序的，除非只有一个reducer），好处是：执行了局部排序以后能够为接下去的全局排序提升很多的效率（其实就是作一次归并排序就能够作到全局排序了）。

3. distribute by和sort by一块儿使用

    ditribute by是控制map的输出在reducer是如何划分的，举个例子，咱们有一张表，mid是指这个store所属的商户，money是这个商户的盈利，name是这个store的名字

store:

mid	money	name
AA	15.0	商店1
AA	20.0	商店2
BB	22.0	商店3
CC	44.0	商店4

    执行hive语句：

select mid, money, name from store distribute by mid sort by mid asc, money asc 

咱们全部的mid相同的数据会被送到同一个reducer去处理，这就是由于指定了distribute by mid，这样的话就能够统计出每一个商户中各个商店盈利的排序了（这个确定是全局有序的，由于相同的商户会放到同一个reducer去处理）。这里须要注意的是distribute by必需要写在sort by以前。

4. cluster by

    cluster by的功能就是distribute by和sort by相结合，以下2个语句是等价的：

select mid, money, name from store cluster by mid  
select mid, money, name from store distribute by mid sort by mid  

    若是须要得到与3中语句同样的效果：

select mid, money, name from store cluster by mid sort by money  

    注意被cluster by指定的列只能是降序，不能指定asc和desc。