如何将自定义 jar 文件添加/复制到 Kafka MirrorMaker 中？

Posted 2023-03-23

【中文标题】如何将自定义 jar 文件添加/复制到 Kafka MirrorMaker 中？

【英文标题】：How to add / copy a custom jar file into KafkaMirrorMaker?

【发布时间】：2022-01-03 10:03:12

【问题描述】：

我正在开发一些自定义主题名称映射，并从中生成了一个 jar 文件。

由于我使用的是 MirrorMaker v1，因此这些变量也已添加到 KafkaMirrorMaker yaml 文件中的 KAFKA_MIRRORMAKER_MESSAGE_HANDLER 和 KAFKA_MIRRORMAKER_MESSAGE_HANDLER_ARGS。

但我不知道如何将此自定义 jar 文件物理添加到 KafkaMirrorMaker pod 中。我检查了 KafkaMirrorMaker 的 CRD，但还没有找到任何线索。

那么，有没有办法让 KafkaMirrorMaker 下载一些文件/工件并将 jar 文件包含到类路径中，以便自定义 MessageHandler 可以找到它？

helm install 命令用于部署 Mirror Maker。我目前使用的KafkaMirrorMaker的apiVersion：kafka.strimzi.io/v1beta2

【问题讨论】：

如何运行 KafkaMirrorMaker？ thisbin/kafka-run-class.sh kafka.tools.MirrorMaker ... 之类的东西与我们分享您的 Dockerfile

我们没有 Dockerfile。我们只有 helm yaml 文件。是否可以只修改这个文件来指示Mirror Maker下载jar文件？

我认为不可能。 Java 应用程序需要更复杂的方法来加载外部 jar。如果它部署在 kubernetes 上，则应该存在 Dockerfile。如果你找到它，添加任何文件（jar）会很容易

【参考方案1】：

基于strimzi 标签，我假设您使用的是Strimzi 的Mirror Maker v1？要添加您自己的 JAR，您需要构建一个自定义容器映像。

您可以修改 Strimzi 项目源代码并从头开始构建所有内容（您可以将您的 JAR 作为依赖项添加到 `docker-images/kafka/... 中的 3rd 方库）。但这在构建整个项目时相当复杂。

最简单的方法是编写自己的 Dockerfile 并使用现有的 Strimzi 镜像作为基础镜像。例如：

FROM quay.io/strimzi/kafka:0.26.0-kafka-3.0.0
USER root:root
COPY ./my-jar.jar /opt/kafka/libs/my-jar.jar
USER 1001

您可以构建此 Dockerfile 并将其推送到您自己的 Docker 注册表（Docker Hub、Quay，无论您使用什么）。您应该根据您使用的 Strimzi 版本和您使用的 Kafka 版本确保 FROM 使用正确的图像。

一旦你有了它，你必须告诉 Strimzi 使用这个图像。您可以使用KafkaMirrorMaker 自定义资源中的.spec.image 选项来执行此操作。或者您可以在 Strimzi Cluster Operator 部署中更改环境变量 STRIMZI_KAFKA_MIRROR_MAKER_IMAGES 并更新应该在那里使用的图像。

【讨论】：

谢谢。我将图像托管在我们的内部服务器中。如何配置 imagePullSecret？

嗯...我尝试设置 STRIMZI_IMAGE_PULL_SECRETS 环境变量，但不知何故它没有反映在部署对象中。

啊...好吧。环境变量必须在 Strimzi Cluster 操作员的部署中设置，而不是在 MirrorMaker CR 实例中设置。谢谢你的帮助！ :)