设置zookeeper根节点的白名单,kafka启动起不来,报noAuth,启动多次之后,又成功了。求大神解释!

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了设置zookeeper根节点的白名单,kafka启动起不来,报noAuth,启动多次之后,又成功了。求大神解释!相关的知识,希望对你有一定的参考价值。

1、版本:zookeeper-3.3.6、kafka_2.11-1.1.0,系统:win72、zk单节点,kafka单节点,zookeeper跟节点“/”,白名单:127.0.0.1、10.10.171.216(内网IP)

参考技术A kafka与zookeeper 这两个一般不都是各自使用的吗?没有冲突的吧,你是如何使用的那?怎么会有冲突问题? 参考技术B 百度看看吧 参考技术C 还是百度一下吧,这个可能没人懂 参考技术D 拖OK了路问我嗯自己去啦体测1去我 第5个回答  2018-12-13 没人懂这个兄弟

Zookeeper 有 KeeperException 但 Kafka 能够创建主题和生产/消费

【中文标题】Zookeeper 有 KeeperException 但 Kafka 能够创建主题和生产/消费【英文标题】:Zookeeper having KeeperException but Kafka able to create topics and produce/consume 【发布时间】:2015-08-10 06:46:39 【问题描述】:

我最近在单节点 CDH 5 设置上设置了 Kafka,目的是在移动到真正的集群之前在单个节点上使用它。最初,我只是用 kafka 服务器启动了 zookeeper 服务器,一切都很好。我可以看到 zookeeper 在 2181 上运行,而 Kafka 在 9092 上运行。然后我创建了一个主题,并启动了消费者和生产者,消费者可以看到生产者正在发送的消息。

我脸上洋溢着幸福,移动到带有 Zookeeper 日志的选项卡并看到了这个:

[2015-05-27 16:46:07,016] INFO Got user-level KeeperException when processing sessionid:0x14d97bf0a020002 type:create cxid:0x2 zxid:0x1f txntype:-1 reqpath:n/a Error Path:/consumers/test-consumer-group/ids Error:KeeperErrorCode = NoNode for /consumers/test-consumer-group/ids (org.apache.zookeeper.server.PrepRequestProcessor)
[2015-05-27 16:46:07,021] INFO Got user-level KeeperException when processing sessionid:0x14d97bf0a020002 type:create cxid:0x3 zxid:0x20 txntype:-1 reqpath:n/a Error Path:/consumers/test-consumer-group Error:KeeperErrorCode = NoNode for /consumers/test-consumer-group (org.apache.zookeeper.server.PrepRequestProcessor)
[2015-05-27 16:46:07,306] INFO Got user-level KeeperException when processing sessionid:0x14d97bf0a020002 type:create cxid:0x19 zxid:0x24 txntype:-1 reqpath:n/a Error Path:/consumers/test-consumer-group/owners/test Error:KeeperErrorCode = NoNode for /consumers/test-consumer-group/owners/test (org.apache.zookeeper.server.PrepRequestProcessor)
[2015-05-27 16:46:07,307] INFO Got user-level KeeperException when processing sessionid:0x14d97bf0a020002 type:create cxid:0x1a zxid:0x25 txntype:-1 reqpath:n/a Error Path:/consumers/test-consumer-group/owners Error:KeeperErrorCode = NoNode for /consumers/test-consumer-group/owners (org.apache.zookeeper.server.PrepRequestProcessor)
[2015-05-27 16:47:06,961] INFO Got user-level KeeperException when processing sessionid:0x14d97bf0a020002 type:setData cxid:0x24 zxid:0x29 txntype:-1 reqpath:n/a Error Path:/consumers/test-consumer-group/offsets/test/0 Error:KeeperErrorCode = NoNode for /consumers/test-consumer-group/offsets/test/0 (org.apache.zookeeper.server.PrepRequestProcessor)
[2015-05-27 16:47:06,963] INFO Got user-level KeeperException when processing sessionid:0x14d97bf0a020002 type:create cxid:0x25 zxid:0x2a txntype:-1 reqpath:n/a Error Path:/consumers/test-consumer-group/offsets Error:KeeperErrorCode = NoNode for /consumers/test-consumer-group/offsets (org.apache.zookeeper.server.PrepRequestProcessor)

看起来 zookeeper 无法为 . . .东西。但是,如果是这样的话,为什么我的所有命令都有效?我能够创建一个主题,然后为它生成一些数据,而订阅它的消费者也获取数据?

如果有帮助,我的 zookeeper 版本是 3.4.6,我的 Kafka 版本是 0.8.2.1。哦,路径 /tmp/zookeeper 存在。

【问题讨论】:

此日志消息可能是旧的。如果找不到该节点,那么它会创建一个新的 znode,这就是为什么您能够看到这些节点并且您的所有命令都在工作的原因。 这对这个问题有类似的解决方案***.com/questions/24767337/… 已经注意到这在更新的 Kafka 服务器上被添加到集群中,它可能正在同步 ZK 上的内容,不用担心,因为它只是 INFO。例外情况也可能是它在 Kafka 尝试创建它时已经存在。 【参考方案1】:

我遇到了同样的问题。

Exiting due to: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /consumers/test-group/offsets/packets/0.

我解决了我的问题。

确保您的 zookeeper 和 kafka 代理正在运行。 是的,您可以创建主题,并且生产者/消费者可以正常工作。 要解决该错误,您必须拥有一个订阅该主题的消费者组。

在您的情况下,它将是消费者组 test-consumer-group 并订阅主题 Test 的消费者

【讨论】:

以上是关于设置zookeeper根节点的白名单,kafka启动起不来,报noAuth,启动多次之后,又成功了。求大神解释!的主要内容,如果未能解决你的问题,请参考以下文章

Kafka+Log4j2日志

如何设置urlfilter的白名单?

zookeeper和Kafka的关系

java工程kafka传递自定义对象,消费端获取到的是null

Linux将端口设置进防火墙的白名单

zookeeper kafka