限制 PostgreSQL 最小时间间隔的结果行

Posted 2023-02-16

【中文标题】限制 PostgreSQL 最小时间间隔的结果行

【英文标题】：Limit result rows for minimal time intervals for PostgreSQL

【发布时间】：2021-05-23 10:02:55

【问题描述】：

背景：我正在运行 TeslaMate/Grafana 来监控我的汽车状态，其中一个仪表会绘制从数据库中获取的电池电量。我的服务器位于远程并在旧 NAS 的 Dock 中运行，因此查询性能和网络开销都很重要。

我发现 koisk 页面经常挂起，经过调查，这可能是由查询引起的——其中两个图从数据库返回了 10~100k 行结果。我想限制 SQL 查询返回的行数，因为绘图肯定没有那么精确来绘制如此详细的间隔。

我尝试关注this answer并使用row_number()仅弹出第100行结果，但出现了更复杂的问题，即行之间的时间间隔不一致。

汽车有4种状态，驾驶/在线/睡眠/离线。

如果汽车处于行驶状态，时间间隔可能小于 200 毫秒，因为汽车只要有新数据就会推送状态。 如果汽车处于在线状态，时间间隔可能是几分钟，因为系统会主动从汽车中获取状态。 更糟糕的是，如果系统认为汽车即将进入睡眠状态并需要停止获取状态（以避免阻止汽车进入睡眠状态），则间隔最长可能为 40 分钟，具体取决于设置。 如果汽车处于睡眠/离线状态，则根本不会记录任何数据。

这显然使得跳过每第 n 行是一个坏主意，对于上面的案例 2-4，可能会丢失大量数据点，因此 Grafana 无法以令人满意的精度绘制代表电池电量的正确图表。

我想知道是否有可能从日期时间字段而不是 row_number() 中按时间间隔跳过行，而不会产生太多查询开销？即，从前一行以最少 1000 毫秒的时间获取每一行。

例如，我在表中有以下数据，我希望返回的行是第 1、4 和 5 行。

row     date
[1] 1610000001000
[2] 1610000001100
[3] 1610000001200
[4] 1610000002000
[5] 1610000005000

我正在使用的当前（有问题的）方法如下：

SELECT $__time(t.date), t.battery_level AS "SOC [%]" 
FROM (
  SELECT date, battery_level, row_number() OVER(ORDER BY date ASC) AS row
  FROM (
    SELECT battery_level, date
    FROM positions
    WHERE car_id = $car_id AND $__timeFilter(date)
    UNION ALL
    SELECT battery_level, date
    FROM charges c 
    JOIN charging_processes p ON p.id = c.charging_process_id
    WHERE $__timeFilter(date) AND p.car_id = $car_id) AS data
  ORDER BY date ASC) as t
  WHERE t.row % 100 = 0;

这个方法显然给出了只返回替代行而不是我想要的问题（假设最后一行读取t.row % 2 = 0）

PS：请忽略示例代码中的表格结构和UNION，我对表格的挖掘不够深入，这可能是其他调整，但无论如何与这个问题无关。

提前致谢！

【问题讨论】：

为什么要保留第 4 行？第 3 行之后只有 800 毫秒。

@MikeOrganek 因为第 4 行在第 1 行之后 1000 毫秒，第 1 行是保留在结果中的最后一行。想象你有 100 行，每行间隔 100 毫秒，我显然需要每 10 行而不是第一行和最后一行：-p 无论如何感谢您的回答！

【参考方案1】：

您可以使用递归 CTE：

WITH RECURSIVE rec(cur_row, cur_date) AS (
    (
        SELECT row, date
        FROM t
        ORDER BY date
        LIMIT 1
    )

    UNION ALL

    (
        SELECT row, date
        FROM t
        JOIN rec
          ON t.date >= cur_date + 1000
        ORDER BY t.date
        LIMIT 1
    )
)
SELECT *
FROM rec;

cur_row	cur_date
1	1610000001000
4	1610000002000
5	1610000005000

---

View on DB Fiddle

---

使用函数可能会更快：

CREATE OR REPLACE FUNCTION f() RETURNS SETOF t AS
$$
DECLARE
    row      t%ROWTYPE;
    cur_date BIGINT;
BEGIN
    FOR row IN
        SELECT *
        FROM t
        ORDER BY date
    LOOP
        IF row.date >= cur_date + 1000 OR cur_date IS NULL
        THEN
            cur_date := row.date;
            RETURN NEXT row;
        END IF;
    END LOOP;
END;
$$ LANGUAGE plpgsql;

---

SELECT *
FROM f();

row	date
1	1610000001000
4	1610000002000
5	1610000005000

【讨论】：

谢谢！有任何开销估算吗？

@TideGu：不知道，虽然性能可能不是最好的。我添加了一种使用函数来做同样事情的方法，它（我认为）应该更快。

太棒了！谢谢！