hive中空值判断基本分两种html
(1)NULL 与 \N数据库
hive在底层数据中如何保存和标识NULL,是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的.net
好比:orm
1.设置 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); htm
则:底层数据保存的是'\N',经过查询显示的是'NULL'blog
这时若是查询为空值的字段可经过 语句:a is null 或者 a='\\N'开发
2.设置 alter tablename SET SERDEPROPERTIES('serialization.null.format' = 'NULL'); 字符串
则:底层数据保存的是'NULL',经过查询显示的是'NULL'get
这时若是查询为空值的字段可经过 语句:a is null 或者 a='NULL'string
(2)'' 与 length(xx)=0
'' 表示的是字段不为null且为空字符串,此时用 a is null 是没法查询这种值的,必须经过 a='' 或者 length(a)=0 查询
原文参考:http://www.javashuo.com/article/p-gjlycnun-hu.html
hive的使用中不可避免的须要对null、‘’(空字符串)进行判断识别。可是hive有别于传统的数据库。
下面一一说明:
(1)不一样数据类型对空值的存储规则
int与string类型数据存储,null默认存储为 \N;
string类型的数据若是为"",存储则是"";
另外往int类型的字段插入数据“”时,结果仍是\N。
(2)不一样数据类型,空值的查询
对于int可使用is null来判断空;
而对于string类型,条件is null 查出来的是\N的数据;而条件 =’’,查询出来的是""的数据。
例如:
查询1:select b.id,b.name from b
结果1:
1 lisi
2
3 NULL
查询2:select b.id,b.name from b where b.name isnull;
结果2:
3 NULL
查询3:select b.id,b.name from b where b.name=’’;
结果3:
2
查询4:select b.id,b.name from b where b.name=’’or b.name is null;
结果4:
2
3 NULL
查询5:select b.id,b.name from b where b.name<>’’and b.name is not null;
结果5:
1 lisi
查询6:select b.id,b.name from b where length(b.name)<>0and b.name is not null;
结果6:
1 lisi
结论:判断空时要根据实际的存储来进行判断。在开发过程当中若是须要对空进行判断,必定得知道存储的是哪一种数据。
有个处理空的小技巧,Hive给出一种并不是完美的解决方法——自定义底层用什么字符来表示NULL:
使用:ALTER TABLE b SET SERDEPROPERTIES ('serialization.null.format'='');
这句话的意思是让null和''等价,也就是让null不显示,由于null对开发来讲很差操做,可能不一样地方表明意义不一样,并且转码可能也会有问题,全部用''代替。