如何在clickhouse中更改kafka引擎的设置

Posted

技术标签:

【中文标题】如何在clickhouse中更改kafka引擎的设置【英文标题】:how to change settings of kafka engine in clickhouse 【发布时间】:2018-04-12 21:15:32 【问题描述】:

我有一个使用 Kafka 引擎的 Clickhouse 表。

但是,我想修改表的kafka broker列表。

这可能吗?好像没有文档。

【问题讨论】:

【参考方案1】:

这可以通过使用 Kafka 引擎删除并重新创建表来完成。因为有这种引擎的表不存储,只接收数据,所以这个操作应该不会对服务的运行产生负面影响

【讨论】:

消费者偏移量的管理呢?新表不会尝试从主题的最开始读取数据吗? @pdeva 我们没有测试经纪人名单的变化。仅更改表的架构(当无法通过 ALTER TABLE 进行时)。 只要你使用相同的组名,消费者偏移量就会保存在代理中。但是,您必须在消费者偏移因不活动而被删除之前执行该操作(ATM 这是 24 小时,但在较新版本中默认值将更改为 7 天。您可以使用 offset.retention.minutes 更改此设置。

以上是关于如何在clickhouse中更改kafka引擎的设置的主要内容,如果未能解决你的问题,请参考以下文章

ClickHouse Kafka引擎不消费问题排查

使用带有kafka引擎的clickhouse进行融合模式注册表身份验证

clickhouse与kafka集成

ClickHouse Kafka 表引擎和仅一次支持

Clickhouse外部储存表引擎(HDFSMySQLKafka)

ClickHouse数据导入