浅谈DB2在线分析处理函数

Posted 奔跑的蜗牛-

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了浅谈DB2在线分析处理函数相关的知识,希望对你有一定的参考价值。

最近碰到一个测试需求,使用到了在线分析处理(OLAP),现总结记录一下,也希望能帮到有相关问题的朋友。

1. 测试环境是DB2,通过ETL(数据抽取,数据转换,数据加载)技术将数据源数据加载到目标数据仓库。

2. 需求大概意思:验证能否将包含制定商品编码的订单从数据源加载到目标数据库。

3. 目标数据来源于7个不同的应用数据库,每个应用数据库都存储商品编码组相应的订单,其中的50个商品编码相关的订单需要加载到目标仓库。

分析需求后我们得到测试的方法:

1. 在源数据库查询样本订单数据,取得其中所有包含在50个制定商品编码的订单,每个商品编码2条数据用来验证。

2. 通过常规的SQL,我们对订单按照商品编码分类,可以得到Max函数得到最新创建的订单,但这个方法每个商品编码只能得到一条数据,如果需要得到2条,10条数据呢?SQL就感到很吃力了。现在我们可以引入OLAP函数,简单高效的达到业务目标。

 1 SELECT * FROM
 2 (SELECT 
 3 DISTINCT RTRIM(A.RECORD_ID),RTRIM(A.PO_ID),RTRIM(A.ANT_ID),B.CAT_ID,B.EXTRACT_DT,ROW_NUMBER()OVER(PARTITION BY B.CAT_ID ORDER BY B.EXTRACT_DT DESC)RN
 4 
 5 FROM 
 6 --retreve 100 POs for each CAT_ID for last year from BDW
 7 (SELECT RECORD_ID,PO_ID,CAT_ID,EXTRACT_DT,ANT_ID FROM TEAME.PO_ITEM
 8 WHERE CAT_ID IN (4Q6, 4W8, S86, S89, QU39, U4Q0, UQ41, UQ43, U89, W24, YQ44, QY45, QY50, Y5Q1, E0W4, 
 9 W72, 8Q3, 0W3,Q75,73, P74, 75, P76, 77E, P78,E03, E05, E06, E07, ED8
10 , WW9, E37, WW0, DD3, DS3, E65, 7S4, 45, CA1, 0QS4, W31, 64, 9A4, Y95, QY96)
11 --AND DATE(EXTRACT_DT) >= DATE(CURRENT_DATE - 365 DAYS) AND DATE(EXTRACT_DT) <= DATE(CURRENT_DATE)
12 )B,
13 IP.COM C, 
14 TEAME.PO_IA POIA,
15 TEAME.PO A
16 
17 LEFT OUTER JOIN TEAME.P_G_M D 
18 ON 
19 D.RECORD_ID = A.RECORD_ID AND
20 D.PRCHORG_ID = A.PRCHORG_ID AND
21 D.PRCHGRP_ID = A.PRCHGRP_ID AND
22 D.PRCHMEM_UNIQ_ID = A.PRCHMEM_UNIQ_ID 
23 
24 WHERE 
25 A.RECORD_ID = B.RECORD_ID AND
26 A.PO_ID = B.PO_ID AND
27 A.ANT_ID = B.ANT_ID AND
28 A.RECORD_ID = POIA.RECORD_ID AND
29 
30 A.PO_ID = POIA.PO_ID AND
31 B.CAT_ID = C.CORPCOMMCODE AND
32 (COMGROUP IN (J, D) 
33     OR POIA.LEDGACCT_MINOR_NUM IN (123,422,1,21,324,123,442,123,FDF,FD))
34 AND A.RECORD_ID >      
35 AND DATE(A.EXTRACT_DT) >= DATE(CURRENT_DATE - 365 DAYS) AND DATE(A.EXTRACT_DT) <= DATE(CURRENT_DATE))RN
36 WHERE RN=1
37 WITH UR;

接下我们主要来看这一句:ROW_NUMBER()OVER(PARTITION BY B.CAT_ID ORDER BY B.EXTRACT_DT DESC)RN

ROW_NUMBER()这个函数是用来给查询结果集编号,

OVER是一个表达式,它的作用是定义一个作用域(或者可以说是结果集),OVER前面的函数只对OVER定义的结果集起作用,

PARTITION BY用来给结果集分组, 和group by一样。

ORDER BY对分组后子组按某列排序。

最后用条件WHERE RN=2得到买个分组后的每个小组的前两行。

 

除了这个函数,我们可以扩展一下,了解下其他常用函数:

rank()是跳跃排序,有两个第二名时接下来就是第四名(同样是在各个分组内).

dense_rank()l是连续排序,有两个第二名时仍然跟着第三名。

相比之下row_number是没有重复值的,每组内部排序后的顺序编号(组内连续的唯一的)。

FIRST_VALUE,用来求OVER 定义集合的最小值

LAST_VALUE,用来求OVER 定义集合的最大值。值得注意的是这两个函数有个参数,‘IGNORE NULLS‘ 或 ‘RESPECT NULLS‘,用来忽略NULL值和考虑NULL值

 

OLAP所有其他函数:

ROW_NUMBER  
RANK  
DENSE_RANK  
FIRST_VALUE  
LAST_VALUE  
LAG  
LEAD  
COUNT  
MIN  
MAX  
AVG  
SUM 
ROW_NUMBER
RANK
DENSE_RANK
FIRST_VALUE
LAST_VALUE
LAG
LEAD
COUNT
MIN
MAX
AVG
SUM

以上是关于浅谈DB2在线分析处理函数的主要内容,如果未能解决你的问题,请参考以下文章

DB2 OLAP函数的使用

浅谈sass与less区别优缺点

DB2 Zos 浅谈 - DB2 LUW VS DB2 Zos

浅谈JavaScript词法分析步骤

浅谈JavaScript词法分析步骤

浅谈JavaScript词法分析步骤