Hive:map字段存储和取用 ( str_to_map函数 )

Posted skyeva

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive:map字段存储和取用 ( str_to_map函数 )相关的知识,希望对你有一定的参考价值。

str_to_map(字符串参数, 分隔符1, 分隔符2)

使用两个分隔符将文本拆分为键值对。

分隔符1将文本分成K-V对,分隔符2分割每个K-V对。对于分隔符1默认分隔符是 ‘,‘,对于分隔符2默认分隔符是 ‘=‘

 

例子:

1. 创建map字段

DROP TABLE IF EXISTS tmp.tmp_str_to_map;
CREATE TABLE IF NOT EXISTS tmp.tmp_str_to_map
(
ocolumn string comment ‘原始字段‘, 
rcolumn map<string,string> comment ‘map字段‘
);

  


2. concat + str_to_map函数

用concat + & 取表字段拼接成map类型

insert overwrite table tmp.tmp_str_to_map
SELECT 
concat(‘&crowd:‘, m0.id,‘&clicker:‘,m0.dui_leader,‘&sen:‘,m0.application_type) ocolumn,
str_to_map(concat(‘column1:‘, m0.id,‘&column2:‘,m0.dui_leader,‘&column3:‘,m0.application_type), ‘&‘, ‘:‘) rcolumn
FROM tmp.tmp_adhoc_detail_20180927 m0
limit 1
;

  

3. 取用map里的字段,用[""]即可

select 
rcolumn,
rcolumn["column1"] column1
from tmp.tmp_str_to_map;

 

4. 也可以直接转换取用,而不需要存储字段

SELECT 
  m0.id column1,
  str_to_map(concat(‘column1:‘, m0.id,‘&column2:‘,m0.dui_leader,‘&column3:‘,m0.application_type), ‘&‘, ‘:‘)["column1"] column1_1
from tmp.tmp_adhoc_detail_20180927 m0 
limit 1

  

5. 结果:

rcolumn
column1
{"column1":"1","column2":"李某某","column3":"创新班"} 1


以上是关于Hive:map字段存储和取用 ( str_to_map函数 )的主要内容,如果未能解决你的问题,请参考以下文章

Spark存储Parquet数据到Hive,对maparraystruct字段类型的处理

大数据技术之_08_Hive学习_04_压缩和存储(Hive高级)+ 企业级调优(Hive优化)

hive 非正确json格式字段造成查询错误

hive 使用 map 类型字段

Flutter Hive 无法检索 Map

spark sql map():_*函数