Kafka Connect,插件路径

Posted

技术标签:

【中文标题】Kafka Connect,插件路径【英文标题】:Kafka Connect, plugin path 【发布时间】:2021-06-26 12:14:25 【问题描述】:

如何正确覆盖 PLUGIN_PATH 以便在启动 docker 后添加外部连接器? /home/madmin/connectorf - 带有 jar 的 PC 上的路径 - 连接器 CONNECT_PLUGIN_PATH - confluent 的默认变量 感谢您的回答。

      CONNECT_PLUGIN_PATH: "/usr/share/java,/usr/share/confluent-hub-components"
      volumes: -/home/madmin/connectorf:/usr/share/java

【问题讨论】:

【参考方案1】:

您不想将本地连接器安装在现有的 /usr/share/java 文件夹上。试试这个:

    CONNECT_PLUGIN_PATH: "/usr/share/java,/usr/share/confluent-hub-components,/usr/share/local-connectors" 
volumes: -/home/madmin/connectorf:/usr/share/local-connectors

请记住,连接器需要在 worker 启动之前存在;您不能设置本地路径,然后在它开始运行后添加新路径。

另一种选择是直接将它们安装在容器中,like this

    command: 
      - bash 
      - -c 
      - |
        confluent-hub install --no-prompt confluentinc/kafka-connect-elasticsearch:11.0.0
        #
        echo "Launching Kafka Connect worker"
        /etc/confluent/docker/run & 
        #
        sleep infinity

【讨论】:

也许我有另一个版本的图像。我在 docker /usr/share/local-connectors 上没有找到这个文件夹 这就是重点; /usr/share 存在,volume 命令将本地文件夹挂载到/usr/share/local-connectors 如果这回答了您的问题,那么请确保将其标记为这样,以便其他人可以更轻松地找到它:)

以上是关于Kafka Connect,插件路径的主要内容,如果未能解决你的问题,请参考以下文章

Kafka Connect 加载插件失败

Strimzi / Kafka Connect 找不到我的插件

Kafka Connect Cluster 不加载简单的连接器插件

在 Kafka Connect 中使用文件屏蔽密码,如何提供文件路径?

KafkaKIP-285 Connect Rest Extension Plugin kafka 连接 rest 的插件

设置 Kafka Connect,无法重命名组 ID