Kafka Connect:获取连接器配置

Posted

技术标签:

【中文标题】Kafka Connect:获取连接器配置【英文标题】:Kafka Connect: Getting connector configuration 【发布时间】:2021-06-03 20:10:00 【问题描述】:

我一直在用 kafka connect 进行测试。但是对于每个连接器,我必须阅读连接器文档以了解连接器所需的配置。就我阅读 kafka 连接 API 文档而言,我已经看到了 API 以获取连接器相关数据。

GET /connector-plugins - 返回安装在 Kafka Connect 集群中的连接器插件列表。请注意,API 仅检查处理请求的工作器上的连接器,这意味着您可能会看到不一致的结果,尤其是在滚动升级期间,如果您添加了新的连接器 jar。

PUT /connector-plugins/connector-type/config/validate - 根据配置定义验证提供的配置值。此 API 执行每个配置验证,在验证期间返回建议值和错误消息。

其他 API 与创建的连接器相关。有没有办法获得所需连接器的配置?

【问题讨论】:

【参考方案1】:

是否可以获取所需连接器的配置

验证端点正是这样做的,并且是 Landoop Kafka Connect UI 用来为缺少/错误配置的属性提供错误的地方。

如何需要属性的实现细节取决于连接器配置的Importance 级别,对于任何非高重要性配置,最好参考文档或源代码(如果有)

【讨论】:

我确实发现了这一点。不过感谢您的回答!

以上是关于Kafka Connect:获取连接器配置的主要内容,如果未能解决你的问题,请参考以下文章

如何为在 kubernetes 集群上运行的 Kafka Connect 配置 MongoDB 官方源连接器

Kafka Connect JDBC 接收器连接器不起作用

Kafka Connect - MongoDB 源连接器 - 管道不工作

Kafka Connect Debezium postgres

Kafka-Connect:启动 S3 Sink 连接器时出现无法识别的错误

Kafka Connect JDBC 接收器连接器