Clickhouse重复数据处理

Posted 2022-06-14 江南独孤客

1.重复数据产生原因

正常我们使用MergeTree引擎创建表，虽然MergeTree拥有主键，但是它的主键没有唯一键的约束，这就意味着即便多行数据的主键相同，它们还是能够被正常写入。这里如果需要去重，可以使用 ReplacingMergeTree，它能够在合并分区时删除重复的数据，但是只能对同一分区的数据去重，且去重依据是order by排序键。

2.使用ReplacingMergeTree引擎创建表

create table replace_test(
id String,
code String,
create_time DateTime
)ENGINE = ReplacingMergeTree()
PARTITION BY toYYYYMM(create_time)
ORDER BY (id,code)
PRIMARY key id;

3.插入测试数据

nsert into replace_test values (1,tracy,2022-02-17 21:18:00);

insert into replace_test values (1,tracy,2022-02-17 21:19:00);

insert into replace_test values (1,tracy,2022-02-17 21:20:00);

insert into replace_test values (2,monica,2022-02-17 21:18:00);

insert into replace_test values (2,monica,2022-02-17 21:19:00);

4.执行optimize手动触发合并

optimize table replace_test final;

5.查询获取结果

select * from replace_test;

id	code	create_time
1	tracy	2022-02-17 21:20:00
2	monica	2022-02-17 21:19:00