Kafka 消费者测试无法在服务器上运行

Posted

技术标签:

【中文标题】Kafka 消费者测试无法在服务器上运行【英文标题】:Kafka consumer test not working on server 【发布时间】:2021-09-02 20:18:19 【问题描述】:

我无法在服务器上使用 kafka 测试 kafka 消费者:-

场景

当我使用本地 kafka 测试 kafka 消费者时,它工作正常。

bin/kafka-consumer-perf-test.sh --topic quickstart-events --bootstrap-server localhost:9092 --messages 1000

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec

2021-06-18 09:38:24:769, 2021-06-18 09:38:25:401, 0.9527, 1.5075, 1000, 1582.2785, 1623989305231, -1623989304599, -0.0000, -0.0000

但是,当我尝试在服务器中测试 kafka 时,它根本没有消耗。

即使是 1 条消息也无法消费。

bin/kafka-consumer-perf-test.sh --topic connection --bootstrap-server kafka.dev.net:9092 --messages 1 --timeout 100000

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec

WARNING: Exiting before consuming the expected number of messages: timeout (100000 ms) exceeded. You can use the --timeout option to increase the timeout.

2021-06-18 09:51:27:754, 2021-06-18 09:53:07:913, 0.0000, 0.0000, 0, 0.0000, 1623990095140, -1623989994981, -0.0000, -0.0000

可能是什么原因?

【问题讨论】:

【参考方案1】:

你可以试试这个并发布输出。

kafka-console-consumer.bat --bootstrap-server localhost:9096 --topic my-replicated-test-topic --from-beginning

测试消息 1 测试消息 2 测试消息 3

【讨论】:

@ChrisDist,是的,这行得通。我可以使用上述命令生产和消费它 查看您的命令,主题名称为“连接”。您是否使用了正确的命令? bin/kafka-consumer-perf-test.sh --topic 连接 --bootstrap-server kafka.dev.net:9092 --messages 1 --timeout 100000 是的@ChrisDist,这是带有所有参数的正确命令。

以上是关于Kafka 消费者测试无法在服务器上运行的主要内容,如果未能解决你的问题,请参考以下文章

避免apache kafka消费者重复消息的有效策略

如何在 GCP 上运行的 Kafka 服务器中处理 GCP 外部的消息

(线上问题十二)网络故障引起kafka客户端无法消费问题

kafka 消费者组 ID 无法按预期工作

如何使用 Junit 5 使用 Testcontainer 对 Kafka 运行集成测试

如何将 Kafka 消息通过管道传输到 docker 容器中?