如何在 ClickHouse 中定期插入数据

Posted 2023-03-25

【中文标题】如何在 ClickHouse 中定期插入数据

【英文标题】：How can I Periodically Insert Data in ClickHouse

【发布时间】：2021-08-13 16:09:45

【问题描述】：

我想定期将数据从 S3 插入到 clickHouse，即，当数据添加到我的 S3 存储桶时，我想要一个自动将其添加到 clickHouse 的选项。

【问题讨论】：

没有用于从 S3 摄取的内置自动化/调度。你应该自己自动化它。

@DennyCrane 对于其他字体/输入是否相同？

是的。 CH 只能从流服务、kafka、rabbit 自动摄取数据

【参考方案1】：

S3 有event notification。如果您正确配置它，任何更改都会生成一个事件，该事件将被中继到 MQ（Apache Kafka）。然后你可能有一个 MQ 消费者，它将新数据插入到 ClickHouse。