SQL over 子句 - 将分区划分为编号的子分区

Posted

技术标签:

【中文标题】SQL over 子句 - 将分区划分为编号的子分区【英文标题】:SQL over clause - dividing partition into numbered sub-partitions 【发布时间】:2019-04-14 21:14:45 【问题描述】:

我有一个挑战,我在多个场合都遇到过,但从未找到有效的解决方案。想象一下,我有一个大表,其中包含有关例如的数据。银行账户及其可能的从借方到贷方的循环移动:

AccountId DebitCredit AsOfDate
--------- ----------- ----------
aaa       d           2018-11-01
aaa       d           2018-11-02
aaa       c           2018-11-03
aaa       c           2018-11-04
aaa       c           2018-11-05
bbb       d           2018-11-02
ccc       c           2018-11-01
ccc       d           2018-11-02
ccc       d           2018-11-03
ccc       c           2018-11-04
ccc       d           2018-11-05
ccc       c           2018-11-06

在上面的示例中,我想将子分区号分配给 AccountId 和 DebitCredit 的组合,其中分区号在每次 DebitCredit 移动时递增。换句话说,在上面的例子中,我想要这样的结果:

AccountId DebitCredit AsOfDate   PartNo
--------- ----------- ---------- ------
aaa       d           2018-11-01      1
aaa       d           2018-11-02      1
aaa       c           2018-11-03      2
aaa       c           2018-11-04      2
aaa       c           2018-11-05      2

bbb       d           2018-11-02      1

ccc       c           2018-11-01      1
ccc       d           2018-11-02      2
ccc       d           2018-11-03      2
ccc       c           2018-11-04      3
ccc       d           2018-11-05      4
ccc       c           2018-11-06      5

我真的不知道如何快速有效地做到这一点。该操作必须每天在具有数百万行的表上完成。

在这个例子中,我们保证所有账户都有连续的行。但是,当然,客户可能会在当月 15 日开户和/或在 26 日关闭他的账户。

挑战是在 MSSQL 2016 服务器上解决,但可以在 2012(甚至可能是 2008r2)上运行的解决方案会很好。

您可以想象,无法判断是否只有借记行或贷记行,或者帐户是否每天都在循环。

【问题讨论】:

是否保证连续行(对于特定帐户)连续几天? 你的输出是矛盾的。 【参考方案1】:

如果你有 sql server 2012+,你可以使用 lag() 和一个窗口求和来得到这个:

select *,sum(PartNoAdd) over (partition by AccountId order by AsOfDate asc) as PartNo_calc
from
(
    select *,
    case when DebitCredit=lag(DebitCredit,1) over (partition by AccountId order by AsOfDate asc) then 0 else 1 end as PartNoAdd
    from t 
)t2
order by AccountId asc, AsOfDate  asc

在内部查询中,PartNoAdd 检查此帐户之前的借记卡是否相同。如果是,则返回 0(我们不应添加任何内容),否则返回 1。

然后外部查询将这个帐户的所有PartNoAdd 相加。

【讨论】:

【参考方案2】:

您可以使用递归 cte 来做到这一点

; with
-- the purpose of `cte` is to generate running number in the order of AsOfDate
cte as
(
    select  AccountId, DebitCredit, AsOfDate, rn = row_number() over (partition by AccountId order by AsOfDate)
    from    tbl
),
-- this is the recursive CTE
rcte as
(
    -- anchor member. Starts with `PartNo 1`
    select  AccountId, DebitCredit, AsOfDate, rn, PartNo = 1
    from    cte
    where   rn  = 1

    union all

    -- recursive member. Incrememt `PartNo` if there is a change in debitcredit
    select  c.AccountId, c.DebitCredit, c.AsOfDate, c.rn,
            PartNo = case when r.DebitCredit = c.DebitCredit then r.PartNo else r.PartNo + 1 end
    from    rcte r
            inner join cte c    on  r.AccountId = c.AccountId
                                and r.rn        = c.rn - 1
)
select  *
from    rcte
order by AccountId, AsOfDate

【讨论】:

【参考方案3】:

你可以使用密集等级

select *,dense_rank() over(partition by AccountId order by DebitCredit desc) as PartNo
from t

【讨论】:

感谢您的回答,但我认为在这种情况下并非如此。如果 ID 为“ccc”的帐户,2018-11-01、2018-11-04 和 2018-11-08 将落入同一个“桶”,即使它们属于不同的“周期”

以上是关于SQL over 子句 - 将分区划分为编号的子分区的主要内容,如果未能解决你的问题,请参考以下文章

SQL Server之排序函数

SQL Server之排序函数

SQL大圣之路笔记——SQL学习笔记

SQL - OVER 子句范围在 2 次之间

深入理解CQL中的Where子句

HIVE学习记录-数据模型以及和SQL的对比