1 Hive 空值问题
Hive的使用中不可避免的需要对null、‘’(空字符串)进行判断识别。但是hive有别于传统的数据库。
(1)不同数据类型对空值的存储规则。
int与string 类型数据存储,null 默认存储为\N。string类型的数据如果为"",存储则是""。
另外往int类型的字段插入数据“”时,结果还是\N。
(2)不同数据类型,空值的查询。
对于int可以使用is null来判断空;
而对于string 类型,条件is null查出来的是\N的数据;而条件='',查询出来的是""的数据。
向 person.txt中添加一条数据。
is null && ='' 两种查询方式
所以, 判断空时要根据实际的存储来进行。在开发过程中如果需对行判断,一定得知道存储的是哪种数据。有个处理空的小技巧,Hive 给出一种并非完美的解决方法 —— 自定义底层用什么字符来表示 NULL。
这句话的意思是让null和"等价,也就是让null不显示,因为null对开发来说不好操作,可能不同地方代表意义不同,而且转码可能也会有问题,所有用''代替。