大数据之Hive:parse_urlparse_url_tuple函数

Posted 2022-04-02 浊酒南街

目录

• 前言
• 一、parse_url ()
• 二、parse_url_tuple()

前言

parse_url、parse_url_tuple 是hive内置函数，可以解析URL,区别在于，parse_url一次只能输出一个值，parse_url_tuple 可以输出多个值，parse_url_tuple 函数可以和LATERAL VIEW 搭配使用；

一、parse_url ()

解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]。
【host,path,query,ref,protocol,file,authority,userinfo】这些可以理解为关键字 通过关键字可以获得url中对应的字段数据
示例1：

select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','PROTOCOL');--https
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','HOST');--www.baidu.com
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','PATH');--/hzy
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','QUERY');--user_id=10000&platform=ios
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','QUERY','user_id');--10000
select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','QUERY','platform');--ios
select parse_url('user_id=10000&platform=ios','QUERY');--null

示例2：

select parse_url(concat('https://www.baidu.com/?','user_id=10000&platform=ios'),'QUERY','user_id');--10000
select parse_url(concat('https://www.baidu.com/?','user_id=10000&platform=ios'),'QUERY','platform');--ios

二、parse_url_tuple()

语法: parse_url(string urlString, string partToExtract [, string keyToExtract])，parse_url_tuple功能类似parse_url()，但它可以同时提取多个部分并返回
　　　　返回值: string
　　　　说明：返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
示例1：

select parse_url_tuple("http://www.baidu.com/find?cookieid=4234234234",'HOST','PATH','QUERY','QUERY:cookieid');
--c0 c1 c2 c3 
--www.baidu.com /find cookieid=4234234234 4234234234

示例2：

with temp as
    (select "https://www.baidu.com/hzy?user_id=10000&platform=ios" as url )
--select * from temp;
SELECT b.*
FROM temp
LATERAL VIEW parse_url_tuple(url, 'HOST', 'PATH', 'QUERY', 'QUERY:user_id', 'QUERY:platform') b
as host, path, query, user_id ,platform;
--host path query user_id  platform
--www.baidu.com /hzy user_id=10000&platform=ios 10000 ios

参考链接：https://blog.csdn.net/zengxianglei/article/details/89969144