hbase 值过滤器性能

Posted 2023-04-18

【中文标题】hbase 值过滤器性能

【英文标题】：hbase value filter performance

【发布时间】：2019-10-25 07:02:23

【问题描述】：

如何快速查找hbase中的指定值？

我尝试使用下面的过滤器和 skipfilter，但性能很差，并且出现 超时/调用异常，我有 5 000 000 000 条记录。

我无法快速搜索。

SingleColumnValueFilter filter = new SingleColumnValueFilter(Bytes.toBytes("cf"),Bytes.toBytes("qualifier"),CompareOp.EQUAL,Bytes.toBytes("1234"));

ValueFilter filter =  new ValueFilter(CompareOp.EQUAL,Bytes.toBytes("1234"));

获取所有记录中可用的所有 1234 值。

有什么方法可以提高过滤器的性能吗？

【参考方案1】：

如果您查找不属于 rowkey 的特定列值，HBase 需要执行全表扫描，因此它比通过 rowkey 搜索要慢。