Zookeeper集群循环重启

Posted 2023-03-09

参考技术A 发现ZooKeeper重启，并且在选主，主成功选出来之后，集群显示正常，但数秒之后，又开始重启，进入上述现象的循环。

查看ZK日志后，发现选举出的leader节点，loadsnapshot的时候，报Java堆内存不足的错误: java.lang.OutOfMemory: Java heap space

与此同时，follower节点报错: Unexpected exception causing shutdown while sock ...Follower is ahead of the leader

查看ZK data目录/var/lib/zookeeper/version-2，发现snapshot文件超过3G

ZK的java堆内存设置的是4G，load 3G的snapshot，在内存展开之后，超出内存上限。导致出错。

1 增大ZK堆内存大小

2 将所有ZK节点上的version-2目录重命名后，创建一个空的version-2目录，重新启动并初始化

需分析snapshot为何突然增大，ZK空间，大部分被Hive任务创建的节点占用。需要找到存在问题的Hive SQL，并禁止业务提交不合理的SQL（如导致笛卡尔积的SQL）。