hive建表-指定文件类型和压缩类型以及字段分隔符

Posted 2023-05-18

参考技术A ORC文件--包含snappy、zlib两种压缩格式，不需要配置compress参数

CREATE EXTERNAL TABLE tbl_orc_snappy_comma (
str string,
int1 string)
ROW FORMAT delimited fields terminated by ','
stored as orc tblproperties("orc.compress"="SNAPPY")

Hive建表时，使用Array和Map类型以及数据导入

在Hive建表时，我们是可以指定数据类型为Array和Map类型的。除此之外还有Struct类型，这里就不对此做过多延伸。
参考：Hive增删改查
建表：

CREATE TABLE  test001(
	id STRING COMMENT '',
	address ARRAY<string> COMMENT '',
	jobs map<string,string>
);

如果是从本地加载文件，我们可以把建表语句改成：

CREATE TABLE  test001(
	id STRING COMMENT '',
	address ARRAY<string> COMMENT '',
	jobs map<string,string>
)
row format delimited
collection items terminated by ','	--按逗号分割数组
map keys terminated by ':';	--按冒号分割map

然后从本地或者hdfs上导入数据

load data [local] inpath 'hdfsPath'
into table table_name
partition (Year='2020',month='9');

此外，如果是从其他表查询出来的结果，插入表中，则需要先把数据转换为指定的array类型或map类型才可以插入成功。

INSERT OVERWRITE TABLE test001 
SELECT '1' as id,split('南京,北京',',') as address,str_to_map('1:java&2:python','&',':') as jobs;

这里str_to_map是把字符串转换为map类型。第一个参数1:java&2:python是我们String类型的map数据，第二个参数&是指定map之间的分割符，会把1:java&2:python拆成两个map。这里需要提醒的是，如果我们的数据里只有1:java这一种，&(或其他类型的符号)也需要加上，否则返回值的key会变为1:java，value为NULL，即1:java:NULL这种类型。感兴趣的小伙伴也可以把&换成:试试效果。第三个参数:即为我们map的键值分割键。当我们按具体需要转换为map类型后，即可成功插入数据。