hive之函数

Posted zhangxiaofan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive之函数相关的知识,希望对你有一定的参考价值。

第一节:内置函数

一、显示内置函数列表

      show functions;

默认271个

二、查看函数的基本使用

      desc function funname;

desc function max;

三、查看函数的详细使用教程

      desc function extended funname;

desc function extended max;

四、函数分类

1、UDF

      USER DEFINE FUNCTION 用户定义函数,进一路出一路

2、UDAF

      USER DEFINE aggregate FUNCTION  用户定义聚合函数,进多路出一路

3、UDTF

      USER DEFINE table FUNCTION  用户定义表函数,进一路出多路

      explode 炸裂

第二节:常用函数之数值

一、ceil

      向上取整 

      ceil(x)  大于等于参数的第一个整数

二、floor

      向下取整

      floor(x)  小于等于参数的第一个整数

三、round

      round(x[, d]) 参数1 需要四舍五入的数 参数2:小数位数

      select round(3.556789);

      select round(3.556789,2);

四、rand

      求随机数  0-1

      rand([seed])  参数:随机数种子,种子一样的,随机数固定的。

      一般使用无参的select rand();

第二节:常用函数之字符串

一、简介

      hive中的字符串,下标1开始的,字符串从右向左标记-1开始的。

二、split

      split(str, regex)  参数1 字符串 参数2 切分的分隔符

      select split("a,b,c,d",","); 返回值 数组类型

三、instr

      instr(str, substr) 参数1:原始字符串,参数2:需要查找的子字符串

      返回子字符串在原始字符串中第一次出现的位置,不存在 0

      select instr("hello word","wo");

      select instr("hello word","ww");

四、大小写

      ucase  大写

lcase  小写

upper  大写

lower  小写

ucase(str)

五、字符串切分

      substr

substring

substr(str, pos[, len])  参数1 字符串 参数2 位置 参数3 截取长度

六、去空格

      trim(str)  去前后空格

ltrim(str)   去前空格

rtrim(str)   去后空格

七、拼接

      concat(str1, str2, ... strN)  将参数拼接为一个字符串

concat_ws(分隔符,str1,str2....)  按照一定的分隔符,拼接字符串的

八、字符串长度

length 返回字符串长度

第三节:常用函数之日期

一、获取当前系统时间戳

      current_timestamp()

select current_timestamp();  日期 时间

current_date

select current_date();  获取当前系统的日期的

二、时间戳->日期

      from_unixtime

from_unixtime(unix_time, format)  参数1 时间戳 参数2 日期格式

select from_unixtime(1558281600,"yyyy-MM-dd hh:mm:ss");

时间戳转成日期,其中时间戳必须是整形。

三、日期->时间戳

unix_timestamp(date[, pattern])  参数1 日志 参数2 参数1的表达式

select unix_timestamp("2019-5-20 17:27:56","yyyy-MM-dd hh:mm:ss");

四、时间提取

year 年

month 月

day

hour

minute

second

select year("2019-3-4");

五、其他

      to_date:返回日期

date_add:当前日期加几天

date_sub:当前日期  减几天

day:当前日期的号

month:当前日期是几月份

year:当前日期是哪一年

2018-6-30

weekofyear:给定的日期的周数

第四节:常用函数之类型转换

      cast(原始数据 as 需要转换的类型)

      cast(age as bigint)

第五节:常用函数之条件判断

一、if

      if(判断,返回值1,返回值2);

      类似java中的三元运算符

二、nvl

      nvl(需要判断的字段,参数1为null的返回值);

      用于处理null值

三、coalesce

      coalesce;

      返回第一个不为null的值

第六节:常用函数之炸裂函数

一、简介

      explode:炸裂函数,将数组或map集合进行炸裂。

      数组或map集合中的每一个元素为一行[1,2,3,4]a:1,b:2

      对于数组每个元素只有一个,炸裂的结果只有一列,对于map每个元素有k-v 炸裂出来的结果2列。

二、单独使用

      作为查询的参数

第七节:常用函数之窗口函数

一、概念

      hive中提供的,运用一定的语法,可以按照我们的用户需求,将表中的数据分成多个独立的部分,每一个部分都是单独执行的,每一个部分数据称为一个窗口,每一个窗口内部的逻辑只执行当前窗口的数据,不会垮窗口执行数据。

      开窗函数一般和其他的功能性函数一起使用,在都出开窗的那一字段。

      在over子句中可以只给排序,默认只有一个窗口。

二、over子句

1、简介

      over子句用于指定开窗的,每一个“窗口”依据。一般情况下,指定的每一个窗口按照某一个字段相同的数据放在每一个窗口中。

over(指定开窗依据的字段 指定每一个窗口内的排序规则)

2、开窗依据

      必须要指定的。

      一旦指定开窗依据的字段,就会将相同的字段值,放在一个窗口中。

语法:

distribute by 字段名

      partition by 字段名

3、排序规则

      可以指定,也可以不指定。

语法:

sort by --- distribute by

      order by --- partition by

4、总结

      over(partition by ...order by ..)

   over(distribute by ....sort by )

      over子句(开窗)不能单独使用,需要配合一些功能性的函数一起使用。

三、配合聚合函数

1、简介

      max(字段) | sum(字段) + over子句,根据over子句指定的开窗规则,进行求每一个窗口内部的最大值 | 总和。

      一般用于利润累计,目前最大值等

四、分组求topN

1、简介

rank|dense_rank 添加排名的,每个开窗内部,添加排名的

row_number添加行号的,1开始的

 

以上是关于hive之函数的主要内容,如果未能解决你的问题,请参考以下文章

大数据之Hive:Hive 开窗函数

大数据之Hive:Hive 开窗函数

大数据之Hive:Hive函数之collect_set()函数

大数据之Hive:Hive 开窗函数

大数据之Hive:Hive函数之str_to_map函数

hive函数之~条件函数