Hive--对空值和NULL的处理

Posted 2023-02-19

参考技术A Hive中默认将NULL存为\N，NULL类型的字符串如何检索？

创建一个测试表及准备测试数据，SQL如下：

测试数据如下：

将数据Load到test_null表中显示如下：

如上图所5、6两条数据均显示的为NULL，通过数据我们无法真实的区别那条数据的age真正的为空。

通过指定查询条件可以检索出空值和NULL类型字符串数据
使用is null可以检索出存储为\N的数据（即id为6的这条数据）
使用=’NULL’可以检索出为NULL字符串的数据（即id为5的这条数据）

1 可以通过建表语句中指定Hive保存和标识NULL，也可以通过alter修改已存在的表，建表指定方式如下：

2 在Hive中是通过serialization.null.format参数来保存和标识NULL，通过将表的该参数修改为NULL表示为空值

1.Hive在对表进行Put和Load数据操作时，Hive是不支持数据类型的校验，在使用insert into table select…方式向表中插入数据时，对于类型异常的数据会在表中插入一个\N空的值（\N为Hive中默认NULL标识）

2.可以使用serialization.null.format来指定Hive中保存和标识NULL，可以设置为默认的\N，也可以为NULL或''

3.如果表中存在大量的NULL值，则在Hive的数据文件中会产生大量的\N数据，浪费存储空间，那我们可以将serialization.null.format设置为''