Hadoop之Hive函数

Posted 2021-05-07 柳小葱

🌻各位小伙伴，大家好，昨天我们学习了Hive中特别重要的内容分区表和分桶表，感兴趣的的小伙伴可以查看👇:

• 分区表: Hadoop之Hive的分区表.
• 分桶表: Hadoop之Hive分桶表.

🚩今天我们来学习Hive的函数部分，这一部分内容较多，也很重要！

这里写目录标题

• • 1.Hive函数的分类
  • 2.查询系统自带函数
  • 3.常用的内置函数
  • • 3.1 NVL 空字段赋值
    • 3.2 CASE WHEN THEN ELSE END
    • 3.3 CONCAT （行转列）
    • 3.4 EXPLODE（列转行）
  • 4.窗口函数
  • 参考资料

1.Hive函数的分类

在Hive中，函数的类别有3种：

• 普通函数UDF:输入一行数据，输出一行数据（一进一出）
• 聚合函数UDAF:输出多行数据，输出一行数据（多进一出）
• 炸裂函数UDTF:输出一行数据，输出多行数据（一进多出）

2.查询系统自带函数

• 查看系统自带函数

show functions;

• 显示自带函数的用法

desc function max;

• 详细显示自带函数的用法

desc function extended max;

3.常用的内置函数

3.1 NVL 空字段赋值

NVL：给值为 NULL 的数据赋值，它的格式是 NVL( value，default_value)。它的功能是如果 value 为 NULL，则 NVL 函数返回 default_value 的值，否则返回 value 的值，如果两个参数都为 NULL ，则返回 NULL。

• 如果员工的 comm 为 NULL，则用-1 代替

select comm ,nvl(comm,-1) from emp;

结果如下：

3.2 CASE WHEN THEN ELSE END

条件赋值语句·

-- 比如我们需要通过分数来看学生是A、B、C还是D
case scores when scores>90 then "A" when scores>80 then "B" when scores>60 then "C" else "D" end

• 构造数据集

小虎	A	男
小明	A	男
麻辣香锅	B	男
凤姐	A	女
婷姐	B	女
婷婷	B	女

• 需求，要实现以下样式：
  
• 实现

select dept_id,
 sum(case sex when '男' then 1 else 0 end) male_count,
 sum(case sex when '女' then 1 else 0 end) female_count
from emp_sex
group by dept_id;

结果如下：

3.3 CONCAT （行转列）

CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串。

CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;

COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重
汇总，产生 Array 类型字段

• CONCAT的用法

--拼接字符
select concat('A','-','B','-','C');
--拼接字段
select concat(deptno,'-',dname) from dept;

• CONCAT_WS用法
  不能存放非字符型的字段，会报错。还可以存放数组

--先指定分隔符，后接字段
select concat_ws('-','A','B','C');
--拼接非字符类型字段会报错，单可以拼接为数组的字段
select concat_ws('-',deptno,dname) from dept;

• COLLECT_SET(col）用法

--collect_list 将某列数据拿出来形成一个数组（可以重复）
select collect_list(id) from student04;
--collect_set 将某列数据拿出来形成一个集合（不能重复）
select collect_list(id) from student04;

如：

结果是这样，因为本来就没有重复，所以list和set是一样的

• 案例：

# 导入数据
孙悟空	白羊座	A
小虎	射手座	A
小白	白羊座	B
猪八戒	白羊座	A
小明	射手座	A
姿态	白羊座	B

• 要求

把星座和血型一样的人归类到一起。结果如下：

• 解决方法

SELECT
t1.con_blood,
CONCAT_WS("|",collect_set(t1.name))
FROM (
SELECT
NAME,
CONCAT_WS(',',constellation,blood_type) con_blood
FROM person_info
)t1
GROUP BY t1.con_blood;

结果如下：

3.4 EXPLODE（列转行）

EXPLODE(col)：将 hive 一列中复杂的 Array 或者 Map 结构拆分成多行。
LATERAL VIEW：LATERAL VIEW udtf(expression) tableAlias AS columnAlias
解释：用于和 split, explode 等 UDTF 一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。

• 数据准备

《疑犯追踪》	悬疑,动作,科幻,剧情
《Lie to me》	悬疑,警匪,动作,心理,剧情
《战狼 2》	战争,动作,灾难

• 需求
  
• EXPLODE(col)的用法

--split(字段，分隔符)可以将string转化为Array类型 
--将一列数据转化为多行但必须是数组类型
select explode(split(category,",")) from movie_info;

• 实现需求

SELECT movie,
category_name
FROM movie_info
lateral VIEW
explode(split(category,",")) movie_info_tmp AS category_name;

总结一下，如果只需要将某列数据转化成行则只需要exlpode函数，如果转化成行后还需要与原表进行关联，则需要加上lateral VIEW函数。

4.窗口函数

窗口函数就一个函数：
OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变。我们将通过一组案例来了解窗口函数。

• 数据集准备:name，orderdate，cost

jack,2017-01-01,10
tony,2017-01-02,15
jack,2017-02-03,23
tony,2017-01-04,29
jack,2017-01-05,46
jack,2017-04-06,42
tony,2017-01-07,50
jack,2017-01-08,55
mart,2017-04-08,62
mart,2017-04-09,68
neil,2017-05-10,12
mart,2017-04-11,75
neil,2017-06-12,80
mart,2017-04-13,94

• 需求如下
  1.查询在 2017 年 4 月份购买过的顾客及总人数
  2.查询顾客的购买明细及月购买总额
  3.上述的场景, 将每个顾客的 cost 按照日期进行累加
  4.查询每个顾客上次的购买时间
  5.查询前 20%时间的订单信息

• 实现需求
  1.查询在 2017 年 4 月份购买过的顾客及总人数

select name,count(*) over () 
from business
where substring(orderdate,1,7) = '2017-04'
group by name;

2.查询顾客的购买明细及月购买总额

select name,orderdate,cost,sum(cost) over(partition by month(orderdate)) 
from business;

3.上述的场景, 将每个顾客的 cost 按照日期进行累加

select name,orderdate,cost,
sum(cost) over() as sample1,--所有行相加
sum(cost) over(partition by name) as sample2,--按 name 分组，组内数据相加
sum(cost) over(partition by name order by orderdate) as sample3,--按 name
分组，组内数据累加
sum(cost) over(partition by name order by orderdate rows between 
UNBOUNDED PRECEDING and current row ) as sample4 ,--和 sample3 一样,由起点到
当前行的聚合
sum(cost) over(partition by name order by orderdate rows between 1 
PRECEDING and current row) as sample5, --当前行和前面一行做聚合
sum(cost) over(partition by name order by orderdate rows between 1 
PRECEDING AND 1 FOLLOWING ) as sample6,--当前行和前边一行及后面一行
sum(cost) over(partition by name order by orderdate rows between current 
row and UNBOUNDED FOLLOWING ) as sample7 --当前行及后面所有行
from business;
--rows 必须跟在 order by 子句之后，对排序的结果进行限制，使用固定的行数来限制分区中的数据行数量

4.查询每个顾客上次的购买时间

select name,orderdate,cost,
lag(orderdate,1,'1900-01-01') over(partition by name order by orderdate ) 
as time1, lag(orderdate,2) over (partition by name order by orderdate) as time2 
from business;

5.查询前 20%时间的订单信息

select * from (
select name,orderdate,cost, ntile(5) over(order by orderdate) sorted from business) t
where sorted = 1;

参考资料

《大数据Hadoop3.X分布式处理实战》