窗口函数

Posted zzhangyuhang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了窗口函数相关的知识,希望对你有一定的参考价值。

  我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,

  这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.

  但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数.

    hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析。

  在深入研究Over字句之前,一定要注意:在SQL处理中,窗口函数都是最后一步执行,而且仅位于Order by字句之前.还有窗口函数是对select出来的数据进行处理分析得出来的结果。

  顺序是先select,用select的结果进行窗口函数的处理分析。

1.分析函数

    分析函数主要分为sum avg min max count等

  我们这里主要分析Sum() over() 和 count() over分析函数使用,其他类同

创建测试表

create table test(sales_id varchar2(2),sales varchar2(10),dest varchar2(10),dept varchar2(10),revenue number);

插入测试数据

insert into test values(‘11‘,‘smith‘,‘hangzhou‘,‘市场,1000);

insert into test values(‘12‘,‘smith‘,‘wenzhou‘,‘市场,2000);

insert into test values(‘13‘,‘allen‘,‘wenzhou‘,‘渠道,3000);

insert into test values(‘14‘,‘allen‘,‘wenzhou‘,‘渠道,4000);

insert into test values(‘15‘,‘jekch‘,‘shanghai‘,‘渠道,2500);

insert into test values(‘11‘,‘smith‘,‘hangzhou‘,‘市场,1000);

insert into test values(‘12‘,‘smith‘,‘wenzhou‘,‘市场,2000);

commit;

查询所有数据

SQL> select * from test;

SALES_ID    SALES     DEST       DEPT    REVENUE

--------          ---------- ----------     ----------  ----------

11                  smith    hangzhou      市场       1000

12                  smith   wenzhou        市场        2000

13                  allen    wenzhou        渠道       3000

14                  allen    wenzhou        渠道       4000

15                  jekch   shanghai       渠道        2500

11                  smith   hangzhou      市场        1000

12                  smith   wenzhou        市场        2000

用窗口函数计算总销售额

SQL> select sales_id, sales,dest,dept,revenue,

   sum(revenue) over() as 总销售额

          from test;

SALES_ID  SALES   DEST   DEPT   REVENUE   总销售额

-------- -     --------- ----------  ----------   ----------    ----------

11               smith   hangzhou 市场      1000         15500

12               smith    wenzhou 市场       2000         15500

13               allen     wenzhou 渠道      3000         15500

14               allen     wenzhou 渠道      4000         15500

15               jekch    shanghai 渠道      2500        15500

11               smith   hangzhou 市场      1000         15500

12               smith    wenzhou 市场       2000         15500

 

按照sales_id order by排序计算递加的销售总额

SQL> select sales_id,sales,dest,dept,revenue,

     sum(revenue)over(order by sales) 递加销售总额 

          from test;

SALES_ID    SALES   DEST   DEPT   REVENUE   递加销售总额

--------        ----------   ---------- ---------- ----------      ------------

14                allen     wenzhou 渠道        4000           7000

13                allen     wenzhou 渠道         3000          7000

15                jekch    shanghai 渠道         2500          9500

11                smith   hangzhou 市场         1000         15500

12                smith    wenzhou 市场          2000         15500

12                smith    wenzhou 市场           2000        15500

11                smith   hangzhou 市场          1000         15500

 

sales_id进行分组,然后分组求sum

SQL> select sales_id,sales,dest,dept,revenue,

     sum(revenue)over(partition by sales_id) 分组销售总额 

          from test;

SALES_ID     SALES     DEST    DEPT    REVENUE    分组销售总额

--------          ----------   ----------  ----------  ----------        ------------

11                 smith     hangzhou  市场       1000              2000

11                 smith     hangzhou  市场        1000              2000

12                 smith      wenzhou   市场        2000             4000

12                smith        wenzhou  市场        2000             4000

13                allen        wenzhou   渠道        3000             3000

14                allen         wenzhou  渠道        4000             4000

15                jekch        shanghai  渠道        2500 2500

注意,sum over(partition by) 和 sum group by 的区别是什么?

     sum over(partition by) 是先select,然后进行窗口函数,这是一对一的。这里所有的数据都在,并没有合并,只是多出来一个窗口函数分析的数据列。

   sum group by 则是先分组聚合,多变成了一,显示的并不是全部数据,而是聚合后求sum的数据。

 

sales进行分组,然后分组内递加sum。

SQL> select sales_id,sales,dest,dept,revenue,

          sum(revenue)over(partition by sales order by sales_id) 分组递加销售总额 

          from test; 

SALES_ID      SALES     DEST      DEPT    REVENUE     分组递加销售总额

--------          ----------    ---------- ----------  ----------           ----------------

13                   allen         wenzhou 渠道         3000              3000

14                   allen         wenzhou 渠道         4000              7000

15                   jekch        shanghai 渠道         2500              2500

11                   smith        hangzhou 市场        1000              2000

11                   smith        hangzhou 市场        1000              2000

12                   smith        wenzhou 市场          2000             6000

12                   smith         wenzhou 市场         2000             6000

 

看下来的count()over()分析函数的使用

SQL> select sales_id,sales,

     count(*)over() 求总计数,

          count(*)over(order by sales_id) 递加求计数,

          count(*)over(partition by sales_id) 分组求计数,

          count(*)over(partition by sales_id order by sales) 分组递加求计数

         from test;

SALES_ID     SALES    求总计数    递加求计数    分组求计数   分组递加求计数

--------         ----------      ----------      ----------         ----------       --------------

11                   smith           7                2                    2                     2

11                   smith           7                2                    2                     2

12                   smith           7               4                     2                     2

12                   smith           7               4                     2                     2

13                   allen            7               5                     1                     1

14                   allen            7               6                     1                     1

15                   jekch           7               7                     1                     1

 

如果我们想要更细粒度的划分,我们就要引入window子句了.

我们首先要理解两个概念:
- 如果只使用partition by子句,未指定order by的话,我们的聚合是分组内的聚合.
- 使用了order by子句,未使用window子句的情况下,默认从起点到当前行.

当同一个select查询中存在多个窗口函数时,他们相互之间是没有影响的.每个窗口函数应用自己的规则.

window子句:
- PRECEDING:往前
- FOLLOWING:往后
- CURRENT ROW:当前行
- UNBOUNDED:起点,UNBOUNDED PRECEDING 表示从前面的起点, UNBOUNDED FOLLOWING:表示到后面的终点

 

  sum(revenue)over(partition by sales order by sales_id ROWS between UNBOUNDED PRECEDING and CURRENT ROW);

  由起点到当前行,默认也是由起点到当前行,做聚合

  sum(revenue)over(partition by sales order by sales_id ROWS between 1  PRECEDING and CURRENT ROW);

  当前行到前面一行做聚合

  sum(revenue)over(partition by sales order by sales_id ROWS between 1  PRECEDING and 1 FOLLOWING);

  当前一行到前面一行做聚合

  sum(revenue)over(partition by sales order by sales_id ROWS between CURRENT ROW  and UNBOUNDED PRECEDING);

  当前行到后边所有行做聚合

 

2.序列函数

  主要序列函数是不支持window子句的.

  hive中常用的序列函数有下面几个:

NTILE

    • NTILE(n),用于将分组数据按照顺序切分成n片,返回当前切片值

    • NTILE不支持ROWS BETWEEN,
      比如 NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW)

    • 如果切片不均匀,默认增加第一个切片的分布  

 select sales_id, sales,dest,dept,revenue,

   sum(revenue)  NTILE(1) over() as 总销售额

           from test;

row_number、rank、dense_rank

这三个窗口函数的使用场景非常多
- row_number()从1开始,按照顺序,生成分组内记录的序列,row_number()的值不会存在重复,当排序的值相同时,按照表中记录的顺序进行排列
- RANK() 生成数据项在分组中的排名,排名相等会在名次中留下空位
- DENSE_RANK() 生成数据项在分组中的排名,排名相等会在名次中不会留下空位

    select sales_id,sales,dest,dept,revenue,

          RANK() over(partition by sales order by sales_id) 分组递加销售总额 

          from test;

LAG和LEAD函数

这两个函数为常用的窗口函数,可以返回上下数据行的数据.

first_value和last_value

first_value取分组内排序后,截止到当前行,第一个值
last_value取分组内排序后,截止到当前行,最后一个值

以上是关于窗口函数的主要内容,如果未能解决你的问题,请参考以下文章

hive窗口函数总结

窗口函数--排序函数

hive关于窗口函数的使用

C# 主窗口调用子窗口的值传递?

Pandas---11.移动窗口函数

MySQL窗口函数基础初试