hive: 空值、NULL判断、空值的处理

hive中空值判断基本分两种html

(1)NULL 与 \N数据库

hive在底层数据中如何保存和标识NULL,是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的.net

好比:orm

1.设置 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); htm

则:底层数据保存的是'\N',经过查询显示的是'NULL'blog

这时若是查询为空值的字段可经过 语句:a is null 或者 a='\\N'开发

 

          2.设置 alter tablename SET SERDEPROPERTIES('serialization.null.format' = 'NULL'); 字符串

则:底层数据保存的是'NULL',经过查询显示的是'NULL'get

这时若是查询为空值的字段可经过 语句:a is null 或者 a='NULL'string

(2)'' 与 length(xx)=0

'' 表示的是字段不为null且为空字符串,此时用 a is null 是没法查询这种值的,必须经过 a=''  或者 length(a)=0 查询

原文参考:http://www.javashuo.com/article/p-gjlycnun-hu.html

 

hive 空值的处理

hive的使用中不可避免的须要对null、‘’(空字符串)进行判断识别。可是hive有别于传统的数据库。

下面一一说明:

(1)不一样数据类型对空值的存储规则

int与string类型数据存储,null默认存储为 \N;

string类型的数据若是为"",存储则是"";

另外往int类型的字段插入数据“”时,结果仍是\N。

 

(2)不一样数据类型,空值的查询

对于int可使用is null来判断空;

而对于string类型,条件is null 查出来的是\N的数据;而条件 =’’,查询出来的是""的数据。

 

例如:

查询1:select b.id,b.name from b

结果1:

1        lisi

2         

3   NULL

 

查询2:select b.id,b.name from b where b.name isnull;

结果2:

3        NULL

 

查询3:select b.id,b.name from b where b.name=’’;

结果3:

2  

 

查询4:select b.id,b.name from b where b.name=’’or b.name is null;

结果4:

2  

3   NULL

 

查询5:select b.id,b.name from b where b.name<>’’and b.name is not null;

结果5:

1        lisi

 

查询6:select b.id,b.name from b where length(b.name)<>0and b.name is not null;

结果6:

1       lisi

 

结论:判断空时要根据实际的存储来进行判断。在开发过程当中若是须要对空进行判断,必定得知道存储的是哪一种数据。

有个处理空的小技巧,Hive给出一种并不是完美的解决方法——自定义底层用什么字符来表示NULL:

使用:ALTER TABLE b SET SERDEPROPERTIES ('serialization.null.format'='');

这句话的意思是让null和''等价,也就是让null不显示,由于null对开发来讲很差操做,可能不一样地方表明意义不一样,并且转码可能也会有问题,全部用''代替。

原文参考:https://blog.csdn.net/lsxy117/article/details/50387324