Hive Tips

 

1.筛选变量值中包含特殊符号的值；

选取出名字中包含下划线的名字，如name=AB_TEST;

 select * from emp where name like '%_%';  
-- 此方法的获得的结果是所有的名字，而不仅是咱们想要的AB_TEST,
-- 由于在HQL模糊查询中，'%'表示任意一个或多个字符，'_'表示任意一个字符。
-- 因此'%_%'的写法并不能筛选出AB_TEST;

为了让'_'表示它自己，应该用转义字符；
select * from emp where name like '%\\_%';
-- 第一个'\'表示的是它是一个转义字符的含义； 而第二'\'表示的是转义字符，此时'-' 表示的是它自己的含义；

2.Hive 排序中NULL的处理;

order by后面能够接列的位置时，需设置参数：

set hive.groupby.orderby.position.alias=true;
true:可使用列的位置； false:不可使用列的位置；

在升序排序时，空值(Null)默认排在结果集最前面，在降序排序时，空值(Null)默认排在结果集最后面；

3.Hive Not in后接的子查询中不能有空值；

但在实际操做时发现，子查询中有空值并不会致使最终结果有影响；

4.Hive 启用客户端方式(具体操做还不清楚，待后续跟进)；

启动客户端方式的方法：hive --service hiveserver;

5.和SQL同样，HiveQL中一样支持DISTINCT操做，以下示例：

此部分转至：http://blog.csdn.net/zj360202/article/details/38420575

(1) SELECT count(DISTINCT uid) FROM log
(2) SELECT ip, count(DISTINCT uid) FROM log GROUP BY ip
(3) SELECT ip, count(DISTINCT uid, uname) FROMlog GROUP BY ip
(4) SELECT ip, count(DISTINCTuid), count(DISTINCT uname) FROMlog GROUP BY ip

当咱们使用Hive QL中的去重关键字DISTINCT时，须要注意的一点是：
在多个列上进行的去重操做与hive环境变量hive.groupby.skewindata存在关系。
当hive.groupby.skewindata=true时，hive不支持多列上的去重操做，并报错：

Error in semantic analysis: DISTINCT on different columns notsupported with skew in data. 

注意：上面示例中的(3)不属于多列上的DISTINCT操做。

select mac,count(1) from log group by mac;

当某一个mac的值很是多，若是几个mac的hash是同样的，会分到一个reduce，且数量已经超过一个reduce的容量或是处理能力的时候，上面的语句改为 :

hive.groupby.skewindata=true;  
select mac,count(1) from log group by mac;

 

Group By 语句

• Map 端部分聚合：
• • 并非全部的聚合操做都须要在 Reduce 端完成，不少聚合操做均可以先在 Map 端进行部分聚合，最后在 Reduce端得出最终结果。
  • 基于 Hash
  • 参数包括：
  • • hive.map.aggr = true 是否在 Map 端进行聚合，默认为True
    • hive.groupby.mapaggr.checkinterval =100000 在 Map 端进行聚合操做的条目数目
• 有数据倾斜的时候进行负载均衡
• • hive.groupby.skewindata = false
  • 当选项设定为 true，生成的查询计划会有两个 MR Job。第一个 MR Job 中，Map 的输出结果集合会随机分布到Reduce 中，每一个 Reduce 作部分聚合操做，并输出结果，这样处理的结果是相同的 Group By Key有可能被分发到不一样的 Reduce 中，从而达到负载均衡的目的；第二个 MR Job 再根据预处理的数据结果按照 Group ByKey 分布到 Reduce 中（这个过程能够保证相同的 Group By Key 被分布到同一个 Reduce中），最后完成最终的聚合操做。

hive.groupby.skewindata变量

从上面groupby语句能够看出，这个变量是用于控制负载均衡的。当数据出现倾斜时，若是该变量设置为true，那么Hive会自动进行负载均衡。

HIVE-2416

Currently when multiple distinct function is used,Hive.groupby.skewindata optimization parameter shall be set false,or else an exception is raised:

Error in semantic analysis: DISTINCT on different columns not supported with skew in data

Skew groupby should support multiple distinct function.