Clickhouse 自动将数据从 Mergetree 插入 Summingmergetree

Posted

技术标签:

【中文标题】Clickhouse 自动将数据从 Mergetree 插入 Summingmergetree【英文标题】:Clickhouse Automatically insert data into Summingmergetree from Mergetree 【发布时间】:2018-12-06 11:47:00 【问题描述】:

我正在使用 Clickhouse 将原始数据存储在 MergeTree 中。我实际上需要 Summingmergetree 中的数据,其中根据主键对列进行汇总。

我想知道clickhouse是否提供了一种在数据进入MergeTree表时自动将数据插入summinmergetree表的方法?

【问题讨论】:

【参考方案1】:

您可以使用MATERIALIZED VIEW 来实现这一点。支持你有一个具有以下定义的raw_data

CREATE TABLE raw_data (key int, i int, j int) engine MergeTree ORDER BY key;

然后你可以像这样定义SummingMergeTree表:

CREATE MATERIALIZED VIEW summing_data (key int, i int, j int) engine SummingMergeTree((i, j)) ORDER BY key AS SELECT * from raw_data;

【讨论】:

感谢您的回复,如果我们创建物化视图,如果我们删除Raw_data中的数据,不会删除物化视图中的数据。它将如何影响汇总数据? 突变不适用于物化视图。您可以使用相同的 alter 命令删除两个表中的数据,因为它们都使用相同的键定义。

以上是关于Clickhouse 自动将数据从 Mergetree 插入 Summingmergetree的主要内容,如果未能解决你的问题,请参考以下文章

如何在 ClickHouse 中定期插入数据

有啥方法可以将数据从谷歌电子表格传递到 clickhouse?

如何使用文件将数据从 mysql 迁移到 clickhouse?

ClickHouse数据生命周期管理

Clickhouse 集群监控(Prometheus+Grafana)

我可以使用 SCP 将数据从 Clickhouse 服务器下载到我的本地工作站吗?