：Spark环境搭建-StandAlone-HA

Posted 2022-09-07 黑马程序员官方

Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。下面就带大家来学习今天的内容！

 往期内容：

• Spark基础入门-第一章：Spark 框架概述
• Spark基础入门-第二章：Spark环境搭建-Local
• Spark基础入门-第三章：Spark环境搭建-StandAlone

---

一、StandAlone HA 运行原理

导论

Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master 单点故障(SPOF)的问题。

高可用HA

如何解决这个单点故障的问题， Spark提供了两种方案：

1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)--只能用于开发或测试环境。

2.基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)--可以用于生产环境。

ZooKeeper提供了一个Leader Election机制，利用这个机制可以保证虽然集群存在多个Master，但是只有一个是Active 的，其他的都是Standby。当Active的Master出现故障时，另外的一个Standby Master会被选举出来。由于集群的信息 ，包括Worker， Driver和Application的信息都已经持久化到文件系统，因此在切换的过程中只会影响新Job的提交，对 于正在进行的Job没有任何的影响。加入ZooKeeper的集群整体架构如下图所示。

二、基于Zookeeper实现HA

官方文档： http://spark.apache.org/docs/3.1.2/spark-standalone.html#standby-masters-with-zookeeper

此时大家可以直接参考部署文档<<spark部署文档.doc>> 中的HA构造方案

查看WebUI

• http://node1:8080/
• http://node2:8080/

默认情况下，先启动Master就为Active Master，如下截图所示：

如果将node1的Master进程Kill掉， node2的Master在1Min-2Min左右会接替node1的Master作用。 也就是在执行过程中，使用jps查看Active Master进程ID，将其kill，观察Master是否自动切换与应用运行完成结束。(需要等待1-2min)。

三、测试运行

3.1 Wordcount测试

resultRDD = sc.textFile("hdfs://node1:8020/pydata/words.txt") \\

.flatMap(lambda line: line.split(" ")) \\

.map(lambda x: (x, 1)) \\

.reduceByKey(lambda a, b: a + b)

resultRDD .collect()

停止集群： /export/server/spark/sbin/stop-all.sh

3.2 关闭Master验证HA

关闭活跃的Master进程, 等待30秒左右

查看standby是否接管集群.