hbase按照时间戳删除记录

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hbase按照时间戳删除记录相关的知识,希望对你有一定的参考价值。

1、按照时间戳范围查询记录

echo "scan ‘event_log‘, { COLUMN => ‘cf:sid‘, TIMERANGE => [1466265600272, 1471622400481]} " |  hbase shell > ./record.txt

其中这里的cf:sid和key一致, 时间戳范围需要按照时间自己转换:

#current=`date "+%Y-%m-%d %H:%M:%S"`     #获取当前时间,例:2015-03-11 12:33:41
current=“2015-03-11 12:33:41”
timeStamp=`date -d "$current" +%s`      #将current转换为时间戳,精确到秒
currentTimeStamp=$((timeStamp*1000+`date "+%N"`/1000000)) #将current转换为时间戳,精确到毫秒
echo $currentTimeStamp

2、通过shell命令提取record.txt中的sid字段,并拼成hbase删除行命令

cat record.txt|awk ‘{print "deleteall ‘\‘‘event_log‘\‘‘", ",", "‘\‘‘"$1"‘\‘‘"}‘ > del.sh

3、生成hbase删除脚本

在del.sh头尾分别加上:

#!/bin/sh 
exec hbase shell <<EOF 
EOF 

4、执行删除脚本

sh del.sh

以上是关于hbase按照时间戳删除记录的主要内容,如果未能解决你的问题,请参考以下文章

redshift 删除时间戳为星期六的记录

从 ets 表中删除日期戳超过 10 秒的所有记录

netezza 删除具有不同时间戳字段的记录,其中特定字段相同

带时间戳的逻辑删除

Hbase

尝试更新列值时,带有时间戳的 Hbase 放置失败