广告 kafka 在 K8s 上连接休息侦听器

Posted 2023-03-23

【中文标题】广告 kafka 在 K8s 上连接休息侦听器

【英文标题】：Advertised kafka connect rest listener on K8s

【发布时间】：2020-09-19 23:43:27

【问题描述】：

我正在努力以分布式模式在 Kubernetes (DockerEE) 上设置 Kafka Connect。 目前，我在三个相应的 k8s-pod 上有一个由三个工作人员组成的集群。 我面临的问题是我的员工很难相互交流（至少我是这么认为的）。

当我尝试启动连接器时，我得到：

"error_code":409,"message":"Cannot complete request because of a conflicting operation (e.g. worker rebalance)"

作为回应。令人费解的是，我并不总是得到这个错误响应。有时它会正常工作，并且连接器会按预期启动。

从我读到的内容可能归结为我配置为 CONNECT_REST_ADVERTISED_HOST_NAME 的内容。

在 k8s 中运行时，作为广告地址放置的正确值是多少？

BR

【问题讨论】：

您查看过这里的常见问题列表吗？ rmoff.net/2019/11/22/…

现在我有了——据我所知，它基本上总结并解释了我的发现（顺便说一句很棒）。现在的问题是放什么，因为我不确定我能否在运行时找出每个 pod 的 IP。

【参考方案1】：

经过一番谷歌搜索后，我找到了一种将 pod-ip 动态分配为 CONNECT_REST_ADVERTISED_HOST_NAME 的方法。

- name: CONNECT_REST_ADVERTISED_HOST_NAME
  valueFrom:
    fieldRef:
      fieldPath: status.podIP

这样，问题似乎就消失了。