Kafka Connect:获取连接器配置
Posted
技术标签:
【中文标题】Kafka Connect:获取连接器配置【英文标题】:Kafka Connect: Getting connector configuration 【发布时间】:2021-06-03 20:10:00 【问题描述】:我一直在用 kafka connect 进行测试。但是对于每个连接器,我必须阅读连接器文档以了解连接器所需的配置。就我阅读 kafka 连接 API 文档而言,我已经看到了 API 以获取连接器相关数据。
GET /connector-plugins
- 返回安装在 Kafka Connect 集群中的连接器插件列表。请注意,API 仅检查处理请求的工作器上的连接器,这意味着您可能会看到不一致的结果,尤其是在滚动升级期间,如果您添加了新的连接器 jar。
PUT /connector-plugins/connector-type/config/validate
- 根据配置定义验证提供的配置值。此 API 执行每个配置验证,在验证期间返回建议值和错误消息。
其他 API 与创建的连接器相关。有没有办法获得所需连接器的配置?
【问题讨论】:
【参考方案1】:是否可以获取所需连接器的配置
验证端点正是这样做的,并且是 Landoop Kafka Connect UI 用来为缺少/错误配置的属性提供错误的地方。
如何需要属性的实现细节取决于连接器配置的Importance
级别,对于任何非高重要性配置,最好参考文档或源代码(如果有)
【讨论】:
我确实发现了这一点。不过感谢您的回答!以上是关于Kafka Connect:获取连接器配置的主要内容,如果未能解决你的问题,请参考以下文章
如何为在 kubernetes 集群上运行的 Kafka Connect 配置 MongoDB 官方源连接器
Kafka Connect - MongoDB 源连接器 - 管道不工作
Kafka Connect Debezium postgres