zookeeper的leader挂掉导致spark集群挂掉怎么解决

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了zookeeper的leader挂掉导致spark集群挂掉怎么解决相关的知识,希望对你有一定的参考价值。

参考技术A 解决办法有2种:
1、单台spark就别连zookeeper了,没啥意义,改成standalone模式部署
2、增加一台spark,启动master做为备master,zookeeper重新选举leader以后standby master会提升为master,正常接管任务

以上是关于zookeeper的leader挂掉导致spark集群挂掉怎么解决的主要内容,如果未能解决你的问题,请参考以下文章

ZK集群的Leader选举源码阅读

kafka unclean 配置代表啥,会对 spark streaming 消费有什么影响?

kafka unclean 配置代表啥,会对 spark streaming 消费有什么影响?

zookeeper 安装使用教程

为什么zookeeper的节点配置的个数必须是奇数个

spark的主备切换极致原理剖析