hive中如何进行按周计算

Posted Alex_996

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive中如何进行按周计算相关的知识,希望对你有一定的参考价值。

最近遇到一个需求,有一些统计数据,原本是按月更新的计算的,但是现在要按周更新计算。

在hive表中,月更数据一般按照一个月的最后一天进行分区存储,那么如果是按月更新的话直接根据分区进行计算就可以了。

而对于日更的数据,如果要按月计算的话,可以通过substr()函数将日期进行切分,取出只带月份的数据。

例如,对于dt = 2022-02-19这个日期,可以通过substr(dt, 1, 7)取出dt = 2022-02

select substr('2022-02-19', 1, 7);

输出:

2022-02

但是如果要按周计算的话,单纯的substr()就没法达到效果了,可以借助weekofyear()函数,它返回给定日期的周数(1到53之间的数字)。

例如,还是对于dt = 2022-02-19这个日期:

select weekofyear('2022-02-19');

输出:

7

代表2022-02-19是2022年的第7周。

但是这个函数还有一个问题,weekofyear()函数要求一年的第一周必须大于3天。

举个例子:

select weekofyear('2022-01-01');

输出:

52

这是什么情况?2022-01-01明明是2022年的第一天,输出个52是什么意思?


原来2022-01-01是周六,前面有5天还在2021年,是2021年的第52周。

也就是说,2022-01-01所在的周,只有两天在2022年,其余5天都在2021年,所以weekofyear()函数就认为这一周属于2021年的第52周。

那么怎么解决hive中跨年周的问题呢?

weekofyear()函数要求一年的第一周必须大于3天,也就是说至少得有4天在某一年中。

所以,我们对于跨年那几天的日期,我们可以先得到它下周一的日期dt1,然后减去4天得到dt2,dt2所在的年份就是多的那一部分所在的年份,然后再拼上周数就可以啦。

例如:

select concat(year(date_sub(next_day('2022-01-01','monday'),4)), '-', weekofyear('2022-01-01'));

输出:

2021-52
select concat(year(date_sub(next_day('2021-12-31','monday'),4)), '-', weekofyear('2021-12-31'));

输出:

2021-52

以上是关于hive中如何进行按周计算的主要内容,如果未能解决你的问题,请参考以下文章

按周/月/等和 ActiveRecord 分组?

如何在打字稿/离子2中按周分组时间戳?

使用 Node js 按周/月/年对文档进行分组

Graphite 组时间戳事件(按周)

SQL Server 按过去 24 小时、上周和上个月对促销进行分组,并按周降序排序

按周对多个特征进行聚类