Confluent Cloud Kafka - 审计日志集群:接收器连接器

Posted

技术标签:

【中文标题】Confluent Cloud Kafka - 审计日志集群:接收器连接器【英文标题】:Confluent Cloud Kafka - Audit Log Cluster : Sink Connector 【发布时间】:2021-08-14 23:45:09 【问题描述】:

对于托管在 Confluent Cloud 中的 Kafka 集群,会创建一个审核日志集群。似乎可以将 Sink 连接器连接到该集群并从“confluent-audit-log-events”主题中排出事件。

但是,当我运行连接器执行相同操作时,我遇到了以下错误。

org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [connect-offsets]

在我的 connect-distributed.properties 文件中,我的设置如下:

offset.storage.topic=connect-offsets
offset.storage.replication.factor=3
offset.storage.partitions=3

需要授予哪些额外权限,以便连接器可以在集群中创建所需的主题? connect-distributed.properties 文件中使用的密钥/密钥是与此集群的服务帐户关联的有效密钥/密钥。

另外,当我在控制台中使用相同的键(如上)运行消费者时,我能够很好地读取审计日志事件。

【问题讨论】:

这似乎是 Confluent 支持而不是 *** 的问题,因为它是他们的托管系统,而不是您自己的安装?在任何情况下,您都需要使用 kafka-acls 脚本 【参考方案1】:

已确认 Confluent Cloud 目前不支持此功能(将连接器连接到审核日志集群)。此功能可能会在今年晚些时候推出。

【讨论】:

以上是关于Confluent Cloud Kafka - 审计日志集群:接收器连接器的主要内容,如果未能解决你的问题,请参考以下文章

使用confluent本地安装和使用kafka

Kafka快速入门——Confluent Kafka简介

Kafka快速入门——Confluent Kafka简介

confluent-kafka-go源码分析

Apache Camel Kafka 支持 Confluent 模式注册表

使用带有 Helm 安装的 Kafka/Confluent 的连接器