spark基于Zookeeper的HA集群重启

Posted 2020-08-22

1、首先应该了解，spark集群基于Zookeeper的HA实现

　　当master挂了之后，会重新ElectLeader，不会影响Application的运行。默认的Zookeeper"/spark"目录下，会持久化driver，worker，master等信息。

2、Application需要重新submit的情况是在重启Driver所在的机器的时候，也就是说Driver一旦挂了，那么只有重新去提交Application这一途径。

 

3、重启步骤：

01,02,03三台master机器。

master01,master02,master03上分别运行worker01，worker02，worker03，Application提交的任务在worker03上。

master01是ALIVE状态。

 

重启：

　　当重启01机器时候，master会切到02，同时WebUI页面Application依旧会运行。

　　接着重启机器02，情况与重启01类似。

　　最后重启03，重启03后，Application状态会变为UNKNOWN，之后变为FINISH，此时需要重新提交你的Application