关于在Hive中将特定字符分隔的字符串拆分成多行的应用
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于在Hive中将特定字符分隔的字符串拆分成多行的应用相关的知识,希望对你有一定的参考价值。
参考技术A Subject :关于在 Hive 中将特定字符分隔的字符串拆分成多行的应用Keys : lateral view 、 split 、 explode 、 HQL 、 Hive 、数据拆分
1、案例描述
假设:
有问卷p1,p2,p3,每个问卷含有问题q1,q2,q3...,每个问题对应答案a11,a21,a31,问题与答案之间,用':'分隔,每个问题之间以','分隔.例如:q1:a11,q2:a21,q3:a31:a32
问题:
将问题与答案拆分成独立的列,如:
P1 q1 a11
P1 q2 a21
…
解决方案:
使用lateral View结合Explode实现数据拆分。
2、小知识:
lateral view用于和split、explode等UDTF一起使用的,能将一行数据拆分成多行数据,在此基础上可以对拆分的数据进行聚合,lateral view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一行或者多行,lateral view在把结果组合,产生一个支持别名表的虚拟表。
1). Lateral View语法
lateral View: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*
from Clause: FROM baseTable(lateralView)*
2). Lateral View用于UDTF(user-defined table generating functions)中将行转成列,例如explode().
3). 目前Lateral View不支持有上而下的优化。如果使用Where子句,查询可能将不被编译。解决方法见:此时,在查询之前执行et hive.optimize.ppd=false;
3、实现步骤:
2.1 创建测试数据
drop table temp_bigdata.test_p1;
create table temp_bigdata.test_p1 as
select 'p1' as p,'q1:a11,q2:a21,q3:a31:a32' as qa from default.dual union all
select 'p2' as p,'q1:a11,q2:a21:a22,q3:a31:a32' as qa from default.dual union all
select 'p3' as p,'q1:a11,q2:a21,q3:' as qa from default.dual;
2.2 查看数据内容
select * from temp_bigdata.test_p1;
p qa
p3 q1:a11,q2:a21,q3
p2 q1:a11,q2:a21:a22,q3:a31:a32
p1 q1:a11,q2:a21,q3:a31:a32
2.3 测试explode函数
select explode(split(qa,',')) as qa1 from temp_bigdata.test_p1;
q1:a11
q2:a21
q3:
q1:a11
q2:a21:a22
q3:a31:a32
q1:a11
q2:a21
q3:a31:a32
2.4 开始处理,先将问题拆分成独立行
drop table temp_bigdata.test_p1_adid;
create table temp_bigdata.test_p1_adid as
select row_number() over(order by p,adid) rid,p, adid
from temp_bigdata.test_p1 LATERAL VIEW explode(split(qa,',')) adtable AS adid;
select * from temp_bigdata.test_p1_adid;
rid p adid
1 p1 q1:a11
2 p1 q2:a21
3 p1 q3:a31:a32
4 p2 q1:a11
5 p2 q2:a21:a22
6 p2 q3:a31:a32
7 p3 q1:a11
8 p3 q2:a21
9 p3 q3:
2.5 再将每个问题中的问题及答案拆分成多行
create table temp_bigdata.test_p1_adid2 as
select rid,
p,
adid, --拆分后的问题和答案
split(adid,':')[0] as q, --取出问题
adid2 --拆分答案为行
from temp_bigdata.test_p1_adid
LATERAL VIEW explode(split(adid,':')) adttable2 as adid2;
select * from temp_bigdata.test_p1_adid2;
rid p adid q adid2
1 p1 q1:a11 q1 q1
1 p1 q1:a11 q1 a11
2 p1 q2:a21 q2 q2
2 p1 q2:a21 q2 a21
3 p1 q3:a31:a32 q3 q3
3 p1 q3:a31:a32 q3 a31
3 p1 q3:a31:a32 q3 a32
4 p2 q1:a11 q1 q1
4 p2 q1:a11 q1 a11
5 p2 q2:a21:a22 q2 q2
5 p2 q2:a21:a22 q2 a21
5 p2 q2:a21:a22 q2 a22
6 p2 q3:a31:a32 q3 q3
6 p2 q3:a31:a32 q3 a31
6 p2 q3:a31:a32 q3 a32
7 p3 q1:a11 q1 q1
7 p3 q1:a11 q1 a11
8 p3 q2:a21 q2 q2
8 p3 q2:a21 q2 a21
9 p3 q3: q3 q3
9 p3 q3: q3
2.6 取出结果,将多余行过滤,及问题列=拆分后的答案列
select * from temp_bigdata.test_p1_adid2 where q<>adid2 order by rid,adid;
rid p adid q adid2
1 p1 q1:a11 q1 a11
2 p1 q2:a21 q2 a21
3 p1 q3:a31:a32 q3 a32
3 p1 q3:a31:a32 q3 a31
4 p2 q1:a11 q1 a11
5 p2 q2:a21:a22 q2 a22
5 p2 q2:a21:a22 q2 a21
6 p2 q3:a31:a32 q3 a32
6 p2 q3:a31:a32 q3 a31
7 p3 q1:a11 q1 a11
8 p3 q2:a21 q2 a21
9 p3 q3: q3 Null
OK ,得到了想要的结果,说明成功了,可以看到最后一条记录,也能正确的被处理。
4、总结:
1、写法有点怪,一定不要写错;
2、不要忘记起别名,要不select没列可写。
一句话实现字段拆分成多行
把表中某字段根据分隔符拆分成N个字符串后,再用这N个字符串把这一行演变成N行。
用SQL来解决这个问题非常烦琐!
SQL里没有提供集合对象,不能提供根据拆分后的字符串集合把一行变成多行的操作。解决这个问题的思路就是先求出字段拆分后的最大字符串个数M,然后构造一个M行1列的临时表T2,其列名为lv,则各行lv值分别为1,2,……,M,然后用原表与之叉乘,叉乘时取字段拆分后的第T2.lv个字符串。这样写出来的SQL是多个子查询嵌套而成,其语法是比较复杂的。而且各种数据库中拆分字符串的函数并不统一,所以SQL的写法也各不相同。
举个例子:现有学生选修课数据表COURSES数据如下,要求查出每个学生选修了几门课:
COURSE | STUDENTS |
Chinese | Tom,Kate,John,Jimmy |
Russia | Tom,Cart,Jimmy |
Spanish | Kate,Joan,Cart |
Portuguese | John,Tom |
History | Tom,Cart,Kate |
Music | Kate,Joan,Tom |
要求输出结果如下:
STUDENT | NUM |
Tom | 5 |
Kate | 4 |
Cart | 3 |
Jimmy | 2 |
Joan | 2 |
John | 2 |
以Oracle为例,用SQL写出来是这样:
SELECT STUDENT, COUNT(*) NUM FROM
(SELECT T1.COURSE, REGEXP_SUBSTR(T1.STUDENTS, ‘[^,]+‘, 1, T2.LV ) STUDENT
FROM COURSES T1,
( SELECT LEVEL LV
FROM (SELECT MAX(REGEXP_COUNT(A.STUDENTS, ‘[^,]+‘, 1)) R_COUNT
FROM COURSES A
) B
CONNECT BY LEVEL <= B.R_COUNT) T2
WHERE REGEXP_SUBSTR(T1.STUDENTS, ‘[^,]+‘, 1, T2.LV) IS NOT NULL
) C
GROUP BY STUDENT
ORDER BY NUM DESC;
这里的C就是前文提到的那个临时表,可见这个SQL层次很多,可读性比较差,不易读懂。
如果用集算器的SPL语言来解决这个问题,就会简单很多,只需1行代码:
connect("mydb").query("SELECT * FROM COURSES").news(STUDENTS.split@c();~:STUDENT).groups(STUDENT;count(1):NUM).sort(-NUM)
SPL语言有集合对象,并提供了根据集合把一行扩展成多行的功能,所以写起来思路清晰明了,简便易懂,并且语法统一,不论数据来自哪种数据库还是来自文件型数据源,写法都是一样的。
SPL 集合还提供了交、差、并运算,聚合运算,循环遍历运算,请阅《SPL教案 集合》
SPL也能很方便地嵌入到JAVA应用,可参考《Java 如何调用 SPL 脚本》。
具体使用方法可参考 《如何使用集算器》。
以上是关于关于在Hive中将特定字符分隔的字符串拆分成多行的应用的主要内容,如果未能解决你的问题,请参考以下文章