向主机 Kafka 服务器生成消息时出现容器化 Kafka 客户端错误

Posted 2023-03-10

【中文标题】向主机 Kafka 服务器生成消息时出现容器化 Kafka 客户端错误

【英文标题】：Containerized Kafka client errors when producing messages to the host Kafka server

【发布时间】：2017-11-06 08:22:49

【问题描述】：

*** 上有许多类似类型的查询，但没有一个与我看到的问题完全匹配。

我的服务器上有一个 zookeeper/kafka 设置，运行良好。一个人可以生产

bin/kafka-console-producer.sh --broker-list 192.168.2.80:9092 --topic test

消费

bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.80:9092 --topic test --from-beginning

本地在 Linux Ubuntu 16.04 服务器上。

从一个 Docker 容器——也运行 Ubuntu 16.04——我想生产和消费。容器的 Kafka 代码是从服务器上复制的。 首先我可以创建一个新主题

bin/kafka-topics.sh --create --zookeeper 192.168.2.80:2181 --replication-factor 1 --partitions 1 --topic test2

从容器中，然后再次列出它

bin/kafka-topics.sh --list --zookeeper 192.168.2.80:2181

但是，当我尝试生成新消息时，使用上述 (kafka-console-producer.sh) 命令失败并显示以下消息：

[2017-06-05 13:59:05,317] ERROR Error when sending message to topic test2  with key: null, value: 2 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test2-0: 1526 ms has passed since batch creation plus linger time

在输入消息文本并按下回车后立即。

在同一主机上运行 Docker 容器可能看起来很奇怪，但一旦成功，我会将容器移动到单独的主机进行生产。

我的 kafka server.properties 文件：

listeners=PLAINTEXT://0.0.0.0:9092

卡夫卡版本：

2.12-0.10.2.1

Docker 版本：

Docker version 1.12.6, build 78d1802

【问题讨论】：

如果你在你的主机上使用mac和docker-machine，你必须做端口转发：docker-machine ssh default -L 9092:localhost:9092 -L 2181:localhost:2181

还有你用的什么卡夫卡图片？这个对我有用：hub.docker.com/r/wurstmeister/kafka

谢谢安迪，我正在努力让事情变得简单。所以我刚刚使用这个链接下载了它：wget apache.cs.utah.edu/apache.org/kafka/0.10.2.1/… 使用 tar 然后一次性解压 zookeeper 和 kafka。它似乎在我的主 Ubuntu 服务器上运行良好。然后我在我的 Ubuntu:latest docker 镜像中做了同样的事情。但是，我在容器内运行的只是 kafka bin 目录中的命令。我还没有启动 zookeeper 或 kafka 的守护进程。

【参考方案1】：

这个问题（稍微简化）是由 Kafka 协议的工作方式引起的。给定一个“引导服务器”列表（例如localhost:9092），Kafka 客户端将联系这些引导服务器，然后使用实际 Kafka 代理的主机名由引导服务器返回（代理的advertised.listeners 配置，取决于您的 Kafka/Docker 设置，可能设置为例如 kafka:9092)。所以在这里，客户端将与localhost:9092 进行引导（这将起作用），然后切换到kafka:9092（这将不起作用，“感谢”网络设置）。

幸运的是，有一种方法可以以“正常工作”的方式配置 Kafka + Docker，并且它不需要诸如摆弄主机的 /etc/hosts 文件等恶作剧。作为其中的一部分，您需要设置一些（新的）Kafka 设置，这些设置已添加到 kafka 的KIP-103: Separation of Internal and External traffic。

这是 Docker Compose (docker-compose.yml) 的 sn-p，演示了如何执行此操作：

---
version: '2'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:3.2.1
    hostname: zookeeper
    ports:
      - '32181:32181'
    environment:
      ZOOKEEPER_CLIENT_PORT: 32181

  kafka:
    image: confluentinc/cp-kafka:3.2.1
    hostname: kafka
    ports:
      - '9092:9092'
      - '29092:29092'
    depends_on:
      - zookeeper
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:32181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
      # Following line is needed for Kafka versions 0.11+
      # in case you run less than 3 Kafka brokers in your
      # cluster because the broker config
      # `offsets.topic.replication.factor` (default: 3)
      # is now enforced upon topic creation
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

这里，关键设置是：

listener.security.protocol.map（通过KAFKA_LISTENER_SECURITY_PROTOCOL_MAP设置） inter.broker.listener.name advertised.listeners

在上面的设置中，容器化的 Kafka 代理在 localhost:9092 上侦听来自您的主机（例如您的 Mac 笔记本电脑）的访问，并在 kafka:29092 上侦听来自其他容器的访问。

完整的端到端示例可在以下位置获得： https://github.com/confluentinc/cp-docker-images/blob/v3.2.1/examples/kafka-streams-examples/docker-compose.yml（http://docs.confluent.io/3.2.1/cp-docker-images/docs/tutorials/kafka-streams-examples.html 上的文档）。

【讨论】：

感谢 Michael，我认为当我开始下一阶段需要使用 docker-compose 来启动和运行我的配置时，这篇文章会非常有帮助。

主机和容器是否需要使用两个独立的端口？我的容器仍然说它无法连接

是的，你需要使用两个独立的端口。

很好的答案 - 可惜只有一个赞成票。它解释了问题、原因、不推荐的解决方案和有效的修复方法。谢谢！

【参考方案2】：

您的生产者（在容器中）无法解析您的 Linux 客户操作系统的主机名，该主机名在 Kafka 生产者初始元数据请求中返回给引导服务器。您可以将其手动添加到容器内的 /etc/hosts 文件中，或者将“--add-host”参数添加到启动运行您的生产者的映像的 docker run 命令中

【讨论】：

谢谢汉斯。我需要澄清一下，Ubuntu 服务器不在容器内运行 zookeeper 和 kafka。从容器内部我运行 kafka bin 脚本，容器内没有 kafka 服务器。我已经进行了您建议的更改：将 192.168.2.80 添加到容器的 /etc/host 文件中，并使用我从 echo $HOSTNAME 获得的服务器名称。我已经使用“ping server_name”测试了它在容器内的工作。但我仍然收到上面消息中描述的相同错误消息。

如果我从另一台服务器而不是在容器内运行生产者脚本，它会按预期正常工作。该服务器的 /etc/hosts 文件中没有 kakfa 服务器主机的条目。

【参考方案3】：

啊哈！ 经过进一步阅读和上面给出的答案，解决方案来了。通常情况下，这很容易。 对 kafka server.properties 文件的简单编辑：

advertised.listeners=PLAINTEXT://192.168.2.80:9092

另请注意，此文件中未设置参数“listeners”。

【讨论】：

很可能这在某种意义上是行不通的，例如您可能可以从您的主机（例如 Mac 笔记本电脑）与您的容器化代理对话，但其他容器可能无法与代理对话。我在上面的回答中解释了让主机和其他依赖 Kafka 的容器化服务开箱即用的“技巧”。

这是什么明文？