ClickhouseClickhouse 精确去重计数性能测试
Posted 九师兄
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ClickhouseClickhouse 精确去重计数性能测试相关的知识，希望对你有一定的参考价值。
1.概述
4亿多的数据集上，去重计算出6千万整形数值，
非精确去重函数： uniq、 uniqHLL12、 uniqCombined
精确去重函数： uniqExact、 groupBitmap
结论：
- 整形值精确去重场景， groupBitmap 比 uniqExact至少快 2x+
- groupBitmap仅支持整形值去重， uniqExact支持任意类型去重。
- 非精确去重场景， uniq在精准度上有优势。
案例如下
2.Bitmap位存储和位计算
每个bit位表示一个数字id，对亍40亿个的用户id，只需要40亿bit位，约477m大小
以上是关于ClickhouseClickhouse 精确去重计数性能测试的主要内容，如果未能解决你的问题，请参考以下文章
Apache Doris 基于 Bitmap 的精确去重和用户行为分析
flink：RoaringBitmap在亿级用户实时UV精确去重中应用
Flink+Hologres亿级用户实时UV精确去重最佳实践