hive order by sort by

order by

    Hive中的order by跟传统的sql语言中的order by做用是同样的，会对查询的结果作一次全局排序，因此说，全部的数据都会到同一个reducer进行处理（无论有多少map，也无论文件有多少的block只会启动一个reducer）。可是对于大量数据这将会消耗很长的时间去执行。适用于数据量小的场景

sort by

  Hive中指定了sort by，那么在每一个reducer端都会作排序，也就是说保证了局部有序（每一个reducer出来的数据是有序的，可是不能保证全部的数据是有序的，除非只有一个reduce），好处是：执行了局部排序以后能够为接下去的全局排序提升很多的效率（其实就是作一次归并排序就能够作到全局排序了）。

distribute by和sort by一块儿使用

    distribute by是控制map的输出在reducer是如何划分的，举个例子，咱们有一张表，mid是指这个store所属的商户，money是这个商户的盈利，name是这个store的名字

select midmoneyname store distribute by mid sort by mid ascmoney asc

 咱们全部的mid相同的数据会被送到同一个reducer去处理，每一个reduce按照sort by 字段进行排序，这样的话就能够统计出每一个商户中各个商店盈利的排序了（局部有序）。这里须要注意的是distribute by必需要写在sort by以前。适用于数据量比较大的排序场景。