在 SQL/Impala 中按特定的分钟数对日期时间进行分组
Posted
技术标签:
【中文标题】在 SQL/Impala 中按特定的分钟数对日期时间进行分组【英文标题】:Grouping a datetime by a specific amount of minutes in SQL/Impala 【发布时间】:2020-08-28 08:29:56 【问题描述】:我正在使用 Impala。 我的表格有单独的日期列(格式为 YYYYMMDD 作为 STRING)、小时和分钟(作为 INT) 例如,我得到:
date_part hour_part minute_part kpi
20200828 10 10 23
20200828 10 15 64
20200828 10 20 18
为了组合这些列,我使用了以下语法:
MINUTES_ADD(HOURS_ADD(TO_DATE(FROM_UNIXTIME(UNIX_TIMESTAMP(CAST(date_part AS STRING), "yyyyMMdd"))), hour_part), minute_part) AS date_time
因此我得到:
date_time kpi
2020-08-28 10:10:00 23
2020-08-28 10:15:00 64
2020-08-28 10:20:00 18
(请注意,我的数据仅每 5 分钟填充一次)
现在,如果我想计算 1 小时内的 AVG(kpi),我可以执行以下 GROUP BY:
SELECT
MINUTES_ADD(HOURS_ADD(TO_DATE(FROM_UNIXTIME(UNIX_TIMESTAMP(CAST(date_part AS STRING), "yyyyMMdd"))), hour_part), minute_part) AS date_time,
AVG(kpi)
FROM table
GROUP BY
DATE_PART('year', date_time),
DATE_PART('month', date_time),
DATE_PART('day', date_time),
DATE_PART('hour', date_time)
但是,我怎样才能让查询给出超过 15 分钟的聚合?
【问题讨论】:
【参考方案1】:您可以对分钟使用算术:
SELECT MINUTES_ADD(HOURS_ADD(TO_DATE(FROM_UNIXTIME(UNIX_TIMESTAMP(CAST(date_part AS STRING), "yyyyMMdd"))), hour_part), FLOOR(minute_part / 15)) AS date_time,
AVG(kpi)
FROM table
GROUP BY date_part, hour_part,
FLOOR(minute_part / 15)
【讨论】:
【参考方案2】:我不知道 Impala,但毕竟日期时间只是日期加上小时加上分钟。我会这样写:
SELECT date_part + INTERVAL hour_part HOURS + INTERVAL minute_part MINUTES
或
SELECT date_part + INTERVAL hour_part * 60 + minute_part MINUTES
如果我想要每小时的数据,那就是:
SELECT date_part + INTERVAL hour_part HOURS
但是,如果我想要每一刻钟的数据,我将不得不从分钟评估该季度。可以为此使用CASE
表达式,但更简单的方法是整数除法:
SELECT date_part + INTERVAL hour_part HOURS + INTERVAL (minute_part DIV 15) * 15 MINUTES
我不知道上述语法在 Impala 中是否有效。在某些 DBMS 中它可以工作,在其他 DBMS 中您会使用 INTERVAL 1 HOUR * hour_part
而不是 INTERVAL hour_part HOUR
,而其他可能仍需要不同的解决方案。您已经展示了HOURS_ADD
和MINUTES_ADD
的解决方案,您当然可以使用这些功能。
您说您将日期存储为字符串。那么为什么要转换成字符串呢?为什么是 Unix 时间?这大概可以缩短为TO_DATE(date_part, "yyyyMMdd")
。
因此,对HOURS_ADD
和MINUTES_ADD
使用上述方法:
SELECT
MINUTES_ADD(
HOURS_ADD(
TO_DATE(date_part, "yyyyMMdd"),
hour_part),
(minute_part DIV 15) * 15
) AS date_time,
AVG(kpi)
FROM table
GROUP BY
MINUTES_ADD(
HOURS_ADD(
TO_DATE(date_part, "yyyyMMdd"),
hour_part),
(minute_part DIV 15) * 15
)
ORDER BY date_time;
【讨论】:
以上是关于在 SQL/Impala 中按特定的分钟数对日期时间进行分组的主要内容,如果未能解决你的问题,请参考以下文章