hive时间段为五分钟的统计

Posted zzhangyuhang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive时间段为五分钟的统计相关的知识,希望对你有一定的参考价值。

问题内容

  • 今天遇到了一个需求,需求就是时间段为5分钟的统计.有数据的时间戳.对成交单量进行统计.

想法思路

  • 因为数据有时间戳,可以通过from_unixtime()来获取具体的时间.
  • 有了具体的时间,就可以用minute()函数获取对应数据所在的分钟.(minute()获取到的分钟为字符串,需要进行类型转换cast())
  • 那么怎么通过获取到的minute来进行分组呢?
    • 想法 00 - 05 应该分到一组, 05 - 10 应该分到第二组,依次类推.
    • 用minute 整除 5 的话, 00 - 05 整除 5 都为 0, 05 - 10 整除 5 都为1,依次类推
    • 这样就可以把每5分钟的数据都分到了一组.
    • 注意,hive中的 minute / 5 的话并能整除,所以需要函数向下取整,用floor()函数来完成.
  • 虽然把分钟分开了,但是并不能仅仅按照分钟来分组,这样就把每个小时的相同分组分成一组,所以每个小时之间也是一个聚合维度.

具体步骤

  • 先通过时间戳取到数据对应的小时和分钟.
    • 小时 from_unixtime(time,‘yyyyMMdd HH‘)
    • 分钟 minute(from_unixtime(time))
  • 对分钟进行整除5来完成分段.(同时需要对获取到的minute进行类型转换)
    • floor(cast(minute(from_unixtime(time)) as int) / 5)
    • 如果要是变时间段的话,分钟为单位,除以相应的时间段就行.10分钟就整除10,15分钟就整除15.
  • 对小时和(分钟整除的结果)进行分组进行统计.

示例SQL

select 
    case 
    when sort in (0,1) then concat(substring(time,10,11),‘:0‘,sort*5)
    else concat(substring(time,10,11),‘:‘,sort*5)
    end, --对时间格式进程处理,把小时和分钟合并 例如,hour =2018111 00,sort = 1 -> 00:05
    num --统计的字段
from(
    select time,sort,count(distinct purchase_id) as num --统计
    from 
    (
        select purchase_id,--需要统计的字段
            from_unixtime(add_time,‘yyyyMMdd HH‘) as time, --取小时
            floor(cast(minute(from_unixtime(add_time)) as int) / 5 ) as sort --按分钟归类
        from kkgoo.kk_order_association
        where from_unixtime(add_time,‘yyyyMMdd‘) = 20181111 --筛选条件
        and status not in (‘unpayed‘, ‘close‘, ‘timeout_pay‘, ‘timeout_lock‘)
    ) t
    group by 1,2 --对小时和分钟整除结果进行分组
) t;

以上是关于hive时间段为五分钟的统计的主要内容,如果未能解决你的问题,请参考以下文章

大数据之Hive:Hive 计算两个时间相差的分钟

在 Hive 中将分钟添加到日期时间

大数据(8r)分时段点击量统计待完成

分析Hive表和分区的统计信息(Statistics)

利用hive,怎么统计每个页面的访问时间

c_cpp 快速代码片段,用于在统计(阻止)/ dev / rdsk中的设备时验证fstat64和stat64的行为。