Redshift：在可变日期范围内构建累积和

Posted 2023-02-16

【中文标题】Redshift：在可变日期范围内构建累积和

【英文标题】：Redshift: Construct a cumulative sum over a variable date range

【发布时间】：2021-04-02 13:26:55

【问题描述】：

我正在努力构建一个使用日期范围动态构建累积总和的查询。

打个比方，我希望计算每位客人每天订购的客房服务盘子的平均数量。以以下示例数据集为例：

guest_id	most_recent_plate_ordered_date	cumulative_plates_ordered
1	10/1/2020	1
1	10/2/2020	2
1	10/4/2020	3
2	10/1/2020	1
2	10/2/2020	1
3	10/3/2020	1
3	10/4/2020	2

这是我想要达到的输出：

date	cumulative_plates_ordered	number_of_people
10/1/2020	2	2
10/2/2020	3	2
10/3/2020	4	3
10/4/2020	6	3

本质上，我需要构建两个数字：每人订购的最大盘子数量和每天的人数之和。我已经生成了每天的人数——这很容易。我正在努力构建一个查询，该查询可以随着日期范围的扩大而动态求和。

我能够生成为给定日期最大值提供所需数字的查询。我的问题是将其转换为在一个查询中在所有可能的日期中生成此数字的东西。这是一个范围从 10/1 到 10/1 的示例查询：

select sum(max_cumulative_plates_ordered) from (
  select guest_id, max(cumulative_plates_ordered) as max_cumulative_plates_ordered
  from raw_data
  where most_recent_plate_ordered_date <= '2020-10-01'
  group by 1
)

有什么想法吗？感觉这是一个很容易解决的问题。

【问题讨论】：

我有点困惑。 2020-10-04 只有两行。为什么值为“3”？

【参考方案1】：

如果我理解正确，你想要：

截至某一天订购的不同人的数量。 当日最大cumulative_plates_ordered订单数之和。

但是，这表明 2020-10-03 的值实际上是 4 而不是 5。

一种方法是关联子查询：

select dte::date,
       (select count(distinct guest_id)
        from t
        where t.most_recent_place_ordered <= gs.dte
       ) as num_guests,
       (select sum(plates)
        from (select t.guest_id, max(t.cumulative_plates_ordered) as plates
              from t
              where most_recent_place_ordered <= gs.dte
              group by t.guest_id
             ) t
       ) as num_plates
from (select distinct most_recent_place_ordered as dte from t) gs;

使您的数据具有挑战性的是累积和。您可以使用lag() 获取特定日期的更改。有了这些数据，使用窗口函数和聚合就可以更简单地获得所需的结果：

with net as (
     select t.*,
            row_number() over (partition by guest_id order by most_recent_place_ordered) as seqnum,
            cumulative_plates_ordered - coalesce(lag(cumulative_plates_ordered) over (partition by guest_id order by most_recent_place_ordered), 0) as new_plates
      from t
     )
select most_recent_place_ordered,
       sum(sum( (seqnum = 1)::int )) over (order by most_recent_place_ordered rows between unbounded preceding and current row) as num_guests,
       sum(sum( new_plates )) over (order by most_recent_place_ordered rows between unbounded preceding and current row) as num_plates
from net
group by most_recent_place_ordered
order by most_recent_place_ordered;

Here 是一个 dbfiddle。

【讨论】：

谢谢你！我在客户端测试了这些查询，分别得到以下错误： 1. SQL 中的错误：尚不支持这种类型的相关子查询模式 2. SQL 中的错误：我正在运行的窗口函数延迟不支持默认参数在红移实例中！

@HannaHaddad 。 . .是啊。我更新了第二个查询，使其更兼容 Redshift。

这很完美！所以基本上逻辑是，在 net 语句中，您创建 1. 一个标志，让我们所有人都可以选择每人的第一条记录，以及 2. 一个使用 lag 函数来识别添加新车牌的位置的标志。然后它就变成了 datecanvassed 的简单累积和。对吗？

@HannaHaddad 。 . .你有正确的想法。

【参考方案2】：

我能够生成为给定日期最大值提供所需数字的查询。我的问题是将其转换为在一个查询中跨所有可能日期生成此数字的东西

不只是想要group by 子句中的日期吗？

select dt, 
    sum(cumulative_plates_ordered) as cumulative_plates_ordered, 
    count(*) as number_of_people
from (
    select guest_id, 
        most_recent_plate_ordered_date::date as dt, 
        max(cumulative_plates_ordered) as cumulative_plates_ordered
    from raw_data
    group by 1,2
) t
group by dt

---

编辑

如果您想考虑帐户“缺失”日期，那就有点不同了。您可以使用cross join 生成所有可能的日期和客人组合。然后使用窗口函数来填补空白：

select dt, 
    sum(cumulative_plates_ordered) as cumulative_plates_ordered, 
    count(*) as number_of_people
from (
    select g.guest_id, d.dt,
        max(max(t.cumulative_plates_ordered)) over(order by d.dt) as cumulative_plates_ordered
    from (select distinct most_recent_plate_ordered_date::date as dt from raw_data) d
    cross join (select distinct guest_id from raw_data) g
    left join raw_data t
        on  t.guest_id = g.guest_id
        and t.most_recent_plate_ordered_date >= d.dt
        and t.most_recent_plate_ordered_date <  d.dt + interval 1 day
    group by g.guest_id, d.dt
) t
group by dt

【讨论】：

理论上，如果每个可能的日期都包括在内，是的，这会起作用。问题是没有包括每个可能的日期。使用上面的示例，对于 10/3 上的 guest_id = 1，订购的累积车牌为 2。但是，数据中不存在该记录，这意味着当您与 group by 聚合时，10/3 中缺少 2 个车牌行。

@HannaHaddad：这让问题更有趣——但在你的问题中一点也不明显。查看我的编辑。

谢谢你。我收到错误“SQL 中的错误：表名“d”指定了多次。”我不确定需要删除哪个参考。

@HannaHaddad：我的错。固定。