Kafka Connect 如何安装 Connect 插件

Posted 2022-02-04 @SmartSi

1. 简介

Kafka Connect 设计为可扩展的，因此开发人员可以创建自定义 Connector、Transform 或者 Converter。Kafka Connect Plugin 是一组 Jar 文件，其中包含一个或多个 Connector、Transform 或者 Converter 的实现。Connect 将每个 Plugin 相互隔离，以便一个 Plugin 中的库不受任何其他 Plugin 中的库的影响。这在使用来自多个提供商的 Connector 时非常重要。

在 Connect 部署中安装许多 Plugin 很常见，但确保每个 Plugin 只安装一个版本。

Kafka Connect Plugin 可以是：

• 文件系统上的一个目录，其中包含 Plugin 所需的所有 JAR 以及第三方依赖。这是最常见的，也是我们首选的。
• 一个包含 Plugin 及其第三方依赖所有类文件的 uber JAR。

Plugin 不应包含 Kafka Connect 运行时提供的任何库。

Kafka Connect 根据 Plugin 路径（worker 配置文件 plugin.path 属性中以逗号分隔的目录路径）来寻找 Plugin。下面显示了一个 worker 配置文件 plugin.path 属性：

plugin.path=/opt/share/kafka/plugins

要安装 Plugin，首先要将 plugin 所在目录或 uber JAR 放在 plugin.path 属性的目录列表中。当我们启动 Connect worker 时，每个 worker 都会在 plugin.path 对应目录中找到的所有 Connect