Kafka 消费者测试无法在服务器上运行
Posted
技术标签:
【中文标题】Kafka 消费者测试无法在服务器上运行【英文标题】:Kafka consumer test not working on server 【发布时间】:2021-09-02 20:18:19 【问题描述】:我无法在服务器上使用 kafka 测试 kafka 消费者:-
场景
当我使用本地 kafka 测试 kafka 消费者时,它工作正常。
bin/kafka-consumer-perf-test.sh --topic quickstart-events --bootstrap-server localhost:9092 --messages 1000
start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2021-06-18 09:38:24:769, 2021-06-18 09:38:25:401, 0.9527, 1.5075, 1000, 1582.2785, 1623989305231, -1623989304599, -0.0000, -0.0000
但是,当我尝试在服务器中测试 kafka 时,它根本没有消耗。
即使是 1 条消息也无法消费。
bin/kafka-consumer-perf-test.sh --topic connection --bootstrap-server kafka.dev.net:9092 --messages 1 --timeout 100000
start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
WARNING: Exiting before consuming the expected number of messages: timeout (100000 ms) exceeded. You can use the --timeout option to increase the timeout.
2021-06-18 09:51:27:754, 2021-06-18 09:53:07:913, 0.0000, 0.0000, 0, 0.0000, 1623990095140, -1623989994981, -0.0000, -0.0000
可能是什么原因?
【问题讨论】:
【参考方案1】:你可以试试这个并发布输出。
kafka-console-consumer.bat --bootstrap-server localhost:9096 --topic my-replicated-test-topic --from-beginning
测试消息 1 测试消息 2 测试消息 3
【讨论】:
@ChrisDist,是的,这行得通。我可以使用上述命令生产和消费它 查看您的命令,主题名称为“连接”。您是否使用了正确的命令? bin/kafka-consumer-perf-test.sh --topic 连接 --bootstrap-server kafka.dev.net:9092 --messages 1 --timeout 100000 是的@ChrisDist,这是带有所有参数的正确命令。以上是关于Kafka 消费者测试无法在服务器上运行的主要内容,如果未能解决你的问题,请参考以下文章
如何在 GCP 上运行的 Kafka 服务器中处理 GCP 外部的消息