Spark 2.3 安装部署

Posted 2021-11-03 Shockang

前言

本文隶属于专栏《大数据安装部署方案汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见 大数据安装部署方案汇总

正文

1、下载安装包

官方下载地址

CSDN 下载地址

2、规划安装目录

• /opt/bigdata

3、上传安装包到服务器

4、解压安装包到指定的安装目录

tar -zxvf  spark-2.3.3-bin-hadoop2.7.tgz  -C /opt/bigdata

5、重命名解压目录

mv  spark-2.3.3-bin-hadoop2.7  spark

6、修改配置文件

• 进入到spark的安装目录下对应的conf文件夹

vim spark-env.sh ( mv spark-env.sh.template spark-env.sh)

#配置java的环境变量
export JAVA_HOME=/opt/bigdata/jdk
#配置zk相关信息
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181  -Dspark.deploy.zookeeper.dir=/spark"

vim slaves ( mv slaves.template salves)

#指定spark集群的worker节点
node2
node3

7、分发安装目录到其他机器

scp -r spark node2:/opt/bigdata
scp -r spark node3:/opt/bigdata

8、修改spark环境变量

vim /etc/profile

export SPARK_HOME=/opt/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

9、分发spark环境变量到其他机器

scp /etc/profile node2:/etc
scp /etc/profile node3:/etc

10、让所有机器的spark环境变量生效

• 在所有节点执行

source /etc/profile

补充

Spark 集群的启动和停止

启动

• 1、先启动 ZK（Master HA）
• 2、启动 Spark 集群
  • 可以在任意一台服务器来执行（条件：需要任意2台机器之间实现ssh免密登录）

$SPARK_HOME/sbin/start-all.sh

• 在哪里启动这个脚本，就在当前该机器启动一个Master进程
• 整个集群的worker进程的启动由slaves文件
• 后期可以在其他机器单独在启动master

$SPARK_HOME/sbin/start-master.sh

停止

• 在处于active Master主节点执行

$SPARK_HOME/sbin/stop-all.sh

• 在处于standBy Master主节点执行

$SPARK_HOME/sbin/stop-master.sh