Postgres 按值更改分区/分组

Posted

技术标签:

【中文标题】Postgres 按值更改分区/分组【英文标题】:Postgres partition/group by value change 【发布时间】:2018-06-21 21:02:44 【问题描述】:

我想构建一个查询,它不是按值本身分组数据,而是按行之间值变化的事实来分组数据。我将不胜感激任何帮助!这是一个例子:

假设我有一个具有这种结构的表:

create table events (
  event_time timestamp, 
  source_id integer references source(id),
  metric integer,
  flagged boolean
);

以及以下示例数据:

source_id | event_time | metric | flagged
-----------------------------------------
1         | 8:00       | 1      | t
1         | 8:10       | 15     | f
1         | 8:20       | 7      | t
1         | 8:30       | 3      | t
1         | 8:40       | 6      | f
1         | 8:50       | 10     | t 
2         | 9:00       | 5      | t

我想查询metric 的平均值,以source_id 为组的子组,但根据flagged 不会从一行更改为下一行的事实对这些子组进行分组,前提是数据是有序的。也就是说,在上面的示例中,我不是指group by source_id, flagged,因为这只会为每个source_id 提供两个组,而是将连续行分组,按时间排序,其中flagged 在相邻的行。也就是说,我想有以下组:

group_number | source_id | flagged | avg(metric)
------------------------------------------------
1            | 1         | t       | 1            -- group includes entry for 8:00 only
2            | 1         | f       | 15           -- entry for 8:15 only
3            | 1         | t       | 5            -- entries on 8:20 & 8:30, (7+3)/2
4            | 1         | f       | 6            -- entry for 8:40 only
5            | 1         | t       | 10           -- entry for 8:50 only
6            | 2         | t       | 5            -- 9:00 from source_id = 2

group_number 在输出中不需要,它在这里只是为了使大小写更清楚。此外,我不需要不是 flagged 的条目 - 基本上它们仅用于拆分组。

我试图通过分区和rankslags 来做到这一点,但到目前为止无济于事。将不胜感激任何帮助!谢谢。

【问题讨论】:

【参考方案1】:

这是一个孤岛问题。一种解决方案是使用行号的差异。

select source_id, flagged, avg(metric)
from (select e.*,
             row_number() over (partition by source_id order by event_time) as seqnum_1,
             row_number() over (partition by source_id, flagged order by event_time) as seqnum_2
      from events e
     ) e
group by source_id, flagged, (seqnum_1 - seqnum_2);

这个工作的原因有点难以解释。我发现如果您运行子查询,您将看到行号之间的差异如何识别具有相同标志的相邻行组。

【讨论】:

感谢您给出问题的名称 - 现在我知道这是“缝隙和岛屿”问题,我在那里找到了很多关于该主题的文章。而且,解决方案非常适合我的情况,谢谢。

以上是关于Postgres 按值更改分区/分组的主要内容,如果未能解决你的问题,请参考以下文章

为 Postgres 分区创建自定义哈希运算符

如何按postgres数组中的多个ID分组

postgres 按聚合函数分组

Postgres - 内置的自动和动态分区

Postgres 分区性能调优

postgres —— 分组集