除了 Kafka-connect FileConfigProvider,我们还有像 LdapConfigProvider 这样的东西吗?

Posted

技术标签:

【中文标题】除了 Kafka-connect FileConfigProvider,我们还有像 LdapConfigProvider 这样的东西吗?【英文标题】:Apart from Kafka-connect FileConfigProvider, Do we have anything like LdapConfigProvider? 【发布时间】:2019-07-29 10:28:51 【问题描述】:

需要使用在 LDAP 中外部化的数据源详细信息为 Oracle DB 创建 kafka-connect JdbcSinkConnector。

以下是连接器详细信息 kafka-connect-jdbc/sink-quickstart-oracle.properties 其中连接详细信息如 connection.urlconnection.username connection.password 等应该来自 LDAP。

    name=test-sink
    connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
    tasks.max=1
    topics=orders
    connection.url= ???? #should be sourced from LDAP
    connection.username= ???? #should be sourced from LDAP
    connection.password= ???? #should be sourced from LDAP
    auto.create=true

【问题讨论】:

提供您的示例代码、您的操作方式以及遇到的错误。 【参考方案1】:

开箱即用,Kafka 不提供这样的功能或配置。

作为KIP-297 的一部分,您必须编写/找到您自己的ConfigProvider 实现,您可以从中进行LDAP 查找,并将构建的JAR 添加到您的Connect 工作人员的类路径中。

【讨论】:

此外,我想说这取决于您的数据库驱动程序来实现。用户名和密码配置是可选的。网址不是。如果可以将ldap信息编码到url中,那么驱动负责处理

以上是关于除了 Kafka-connect FileConfigProvider,我们还有像 LdapConfigProvider 这样的东西吗?的主要内容,如果未能解决你的问题,请参考以下文章

Kafka-Connect实践

Kafka-connect 是不是必须使用模式注册表?

使用本地 kafka-connect 集群连接远程数据库的连接超时

使用独立模式 Kafka-connect 将 Postgresql 的数据捕获更改为 kafka 主题

MySql 查询在 Kafka-connect 中失败

没有模式注册表的 Kafka-connect