spark集群搭建

Posted 2022-09-30 我要用代码向我喜欢的女孩表白

目录

集群模式:

YARN模式

STANDALONE模式

2.3版本的spark,standalone

---

spark有4种模式，单节点（没人用）

集群模式:

standalone，仅仅使用spark，不依赖其他的组件

yarn模式，使用yarn资源调度

memos模式，国内资料很少，一般不用。

      

YARN模式

搭建spark，spark资源管理需要yarn，yarn是在hadoop上的，hadoop需要java，所以

需要安装,java(很简单，不赘述）

hdfs搭建

配置单节点hadoop 边搭边写（含hadoop集群搭建)_我要用代码向我喜欢的女孩表白的博客-CSDN博客

zookeeper搭建

zookeeper搭建_我要用代码向我喜欢的女孩表白的博客-CSDN博客

spark搭建

Spark集群搭建超详细教程_笑看风云路的博客-CSDN博客_spark集群搭建步骤

STANDALONE模式

以前没有装过spark3.0，现在采用standalone模式安装一下

下载

https://dlcdn.apache.org/spark/spark-3.2.2/spark-3.2.2-bin-hadoop3.2-scala2.13.tgz

安装spark

创建存放spark的目录

mkdir -p /bigdata/server

1.解压

tar -zxvf spark-3.2.2-bin-hadoop3.2-scala2.13.tgz -C /bigdata/server/

改名并且修改目录

mv /bigdata/server/spark-3.2.2-bin-hadoop3.2-scala2.13/ /bigdata/server/spark3-standalone

2.配置spark的work节点

cd /bigdata/server/spark3-standalone/conf

cp workers.template workers

vi workers（注释localhost，用主机名作为从节点名称）

   

3.配置spark-env.sh

cd /bigdata/server/spark3-standalone/conf

所有节点都创建data目录

mkdir -p /bigdata/server/data

copy环境变量

cp spark-env.sh.template spark-env.sh

设定主节点

vi spark-env.sh

新增内容如下 

export SPARK_MASTER_HOST=hadoop1

export SPARK_LOCAL_DIRS= /bigdata/server/data

4.配置spark-defaults.conf

cd /bigdata/server/spark3-standalone/conf

cp spark-defaults.conf.template spark-defaults.conf

分发到其他节点

scp -r /bigdata/server/spark3-standalone/ root@hadoop2:/bigdata/server/spark3-standalone/

scp -r /bigdata/server/spark3-standalone/ root@hadoop3:/bigdata/server/spark3-standalone/

5.测试

启动主节点

cd /bigdata/server/spark3-standalone/sbin

cat /software/spark2/logs/spark-root-org.apache.spark.deploy.master.Master-1-hadoop1.out

发现拒绝连接zookeeper:2181

（注意:Standalone模式的单点故障是借助zookeeper实现的，所以要先启动zookeeper集群。）

启动work节点（所有配置中的节点都要执行）

cd /bigdata/server/spark3-standalone/sbin

./start-worker.sh spark://hadoop1:7077

查看日志正常启动

tail -f /software/spark2/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-hadoop1.out

主节点，他默认的是8080端口，从节点默认的是7077端口

Spark Master at spark://hadoop1:7077

我刚启动的三台：

2.3版本的spark,standalone

standalone模式，独立于hadoop，仅仅需要spark

spark下载地址:     https://dlcdn.apache.org/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz（注意spark3.2以上需要scala2.13，spark3.0以上需要scala2.12）

创建存放spark的目录

mkdir -p /bigdata/server

1.解压

tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz -C /bigdata/server/

改名并且修改目录

mv /bigdata/server/spark-2.3.0-bin-hadoop2.7/ /bigdata/server/spark2-3

2.配置spark的主节点

cd /bigdata/server/spark2-3/conf

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

新增

export SPARK_MASTER_HOST=192.168.30.101

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera

export SPARK_MASTER_PORT=7077

3.配置work节点

cp slaves.template slaves

vi slaves（把localhost改为集群的ip或者hostname）

copy配置好的内容到其他节点

scp -r /bigdata/server/spark2-3/ root@hadoop2:/bigdata/server/spark2-3/

scp -r /bigdata/server/spark2-3/ root@hadoop3:/bigdata/server/spark2-3/

启动集群

cd /bigdata/server/spark2-3/sbin

主节点

./start-all.sh

访问matser节点

http://hadoop1:8080

我刚启动的三台

​