使用MySQL会话变量实现窗口函数
Posted 火龙果果儿
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用MySQL会话变量实现窗口函数相关的知识,希望对你有一定的参考价值。
一、MySQL窗口函数
8.0以下版本可以用会话变量
select s_no,c_no,score,rank
from(
select case when (@s_no is null or @s_no!=s_no) then @series :=1
else @series:=@series+1
end as rank
,@s_no:=sc.s_no as s_no
,sc.c_no
,sc.score
from (select @s_no := null,@series := 1) s,
(
select *
from dlp_test_20201202
order by s_no,score desc
) sc
)tot
where rank<=3
order by s_no,rank
;
8.0以上版本才支持窗口函数
(1) 序号函数
row_number()在相等的两条记录上随机排序,但序号按照1、2递增,然后后面的序号继续递增为3,中间不会产生序号间隙;
rank()/dense_rank()则把前两条相等的记录序号都设置为1,但后续则分别设置为3(rank)和2(dense_rank)。即rank()会产生序号相同的记录,同时可能产生序号间隙;而dense_rank()也会产生序号相同的记录,但不会产生序号间隙。
(2) 分布函数
percent_rank()
- 用途:和之前的RANK()函数相关,每行按照如下公式进行计算:
- (rank - 1) / (rows - 1)
- 其中,rank为RANK()函数产生的序号,rows为当前窗口的记录总行数。
- 应用场景:本行序号在该组内所占的位置百分比(很少用)。
cume_dist()
- 用途:分组内小于等于当前rank值的行数/分组内总行数,这个函数比percen_rank使用场景更多。
- 应用场景:大于等于当前订单金额的订单比例有多少
(3) 前后函数
前后函数——lead(n)/lag(n)。
- 用途:分区中位于当前行前n行(lead)/后n行(lag)的记录值。
- 使用场景:查询上一个订单距离当前订单的时间间隔。
SQL如下:
内层SQL先通过lag函数得到上一次订单的日期,外层SQL再将本次订单和上次订单日期做差得到时间间隔diff。
(4) 头尾函数
头尾函数——first_val(expr)/last_val(expr)。
- 用途:得到分区中的第一个/最后一个指定参数的值。
- 使用场景:查询截止到当前订单,按照日期排序第一个订单和最后一个订单的订单金额。
SQL如下:
结果和预期一致,比如order_id为4的记录,first_amount和last_amount分别记录了用户‘001’截止到时间2018-01-03 00:00:00为止,第一条订单金额100和最后一条订单金额800,注意这里是按时间排序的最早订单和最晚订单,并不是最小金额和最大金额订单。
(5) 其他函数
其他函数——nth_value(expr,n)/nfile(n)。
nth_value(expr,n)
- 用途:返回窗口中第N个expr的值,expr可以是表达式,也可以是列名。
- 应用场景:每个用户订单中显示本用户金额排名第二和第三的订单金额。
SQL如下:
nfile(n)
- 用途:将分区中的有序数据分为n个桶,记录桶号。
- 应用场景:将每个用户的订单按照订单金额分成3组。
SQL如下:
此函数在数据分析中应用较多,比如由于数据量大,需要将数据平均分配到N个并行的进程分别计算,此时就可以用NFILE(N)对数据进行分组,由于记录数不一定被N整除,所以数据不一定完全平均,然后将不同桶号的数据再分配。
(6) 聚合函数作为窗口函数
- 用途:在窗口中每条记录动态应用聚合函数(sum/avg/max/min/count),可以动态计算在指定的窗口内的各种聚合函数值。
- 应用场景:每个用户按照订单id,截止到当前的累计订单金额/平均订单金额/最大订单金额/最小订单金额/订单数是多少?
SQL如下:
除了这几个常用的聚合函数,还有一些也可以使用,比如BIT_AND()、STD()等等,具体查看官方文档。
二、MySQL变量
mysql入门 SQL语言之十八:系统变量(全局变量、会话变量),自定义变量(用户变量、局部变量)的使用
#变量
/*
系统变量:
全局变量
会话变量
自定义变量:
用户变量
局部变量
*/
#一、系统变量
/*
说明:变量由系统提供,不是用户定义,属于服务器层面
使用的语法:
1、查看所有的系统变量
show global variables;
SHOW session VARIABLES;#session可以省略
2、查看满足条件的部分系统变量
show VARIABLES variables like \'%char%\';
3、查看指定的某个系统变量值
select @@global|【session】.系统变量名;
4、为某个系统变量赋值
方式一:
set global|【session】 系统变量名 = 值;
set autocommit = 0;
方式二:
set @@global|【session】.系统变量名 = 值;
注意:
如果是全局级别,则需要加global,如果是会话级别,则需要加session,如果不写,则默认session
*/
#1》、全局变量
/*
作用域:服务器每次启动将为所有的全局变量赋初始值,针对于所有会话(连接)有效,但是不能跨重启。
如果要想每次启动也修改,则需要修改配置文件。
*/
#①查看所有的全局变量
SHOW GLOBAL VARIABLES;
#②查看部分的全局变量
SHOW GLOBAL VARIABLES LIKE \'%char%\';
#③查看指定的全局量的值
SELECT @@global.autocommit;
SELECT @@tx_isolation;
#④为某个指定全局变量赋值
#方式一:
SET @@global.autocommit = 0;
#方式二:
SET GLOBAL autocommit = 0;
#2》、会话变量
/*
作用域:仅仅针对于当前会话(连接)有效,并且有默认值
*/
#①查看所有的会话变量;
SHOW SESSION VARIABLES;
SHOW VARIABLES;
#②查看部分的会话变量
SHOW VARIABLES LIKE \'%char%\';
SHOW SESSION VARIABLES LIKE \'%char%\';
#③查看指定的某个会话变量
SELECT @@tx_isolation;
SELECT @@session.tx_isolation;
#④为某个会话变量赋值
#方式一
SET @@session.tx_isolation = \'read-uncommitted\';
#方式二:
SET SESSION tx_isolation = \'read-committed\';
#二、自定义变量
/*
说明:变量是用户自定义的,不是由系统的
使用步骤
声明
赋值
使用(查看、比较、运算等)
*/
#1、用户变量
/*
作用域:针对于当前会话(连接)有效,同于会话变量的作用域
应用在任何地方,也就是begin end里面或begin end外边
*/
赋值的操作符: = 或 :=
#①声明并初始化
SET @用户变量名 = 值;
SET @用户变量名 := 值;
SELECT @用户变量名 :=值;
#②赋值(更新用户变量的值)
方式一: 通过SET或SELECT
SET @用户变量名 = 值;
SET @用户变量名 := 值;
SELECT @用户变量名 :=值;
方式二:通过SELECT INTO
SELECT 字段 INTO @变量名
FROM 表;
#③使用(查看用户变量名的值)
SELECT @用户变量名;
#2、局部变量
/*
作用域:仅仅在定义它的begin end中有效
应用在begin end中的第一句话
*/
#①声明
DECLARE 变量名 类型;
DECLARE 变量名 类型 DEFAULT 值;
#②赋值
方式一: 通过SET或SELECT
SET 局部变量名 = 值;
SET 局部变量名 := 值;
SELECT @局部变量名 :=值;
方式二:通过SELECT INTO 局部变量名
SELECT 字段
#③使用
SELECT 局部变量名;
#案例:
#声明并初始化
SET @name = \'john\';
SET @name = 100;
SET @count = 1;
#赋值
SELECT COUNT(*) INTO @count
FROM employees;
#查看
SELECT @count;
对比用户变量和局部变量
作用域 定义和使用的位置 语法
用户变量 当前的会话 会话中的任何地方 必须加@符号,不限定类型
局部变量 BEGIN END中 只能在BEGIN END中,且为第一句 一般不加@符号,需限定类型
#案例:声明两个变量并赋初始值,就和,并打印
#1.用户变量
SET @m=1;
SET @n=2;
SET @sum = @m+@n;
SELECT @sum;
#2.局部变量
DECLARE m INT DEFAULT 1;
DECLARE n INT DEFAULT 2;
DECLARE SUM INT;
SET SUM = m + n;
SELECT SUM;
#报错
本文转载自:
http://www.sohu.com/a/260324504_411876;
https://blog.csdn.net/qq_34626097/article/details/86528466;
以上是关于使用MySQL会话变量实现窗口函数的主要内容,如果未能解决你的问题,请参考以下文章
如何在 mysql 5.7 中使用 sum over partition(无窗口函数)
Flink SQL 分组窗口函数 Group Window 实战