CentOS7安装spark集群

Posted 2023-01-29

前提：使用的环境是centos7.2,已经安装了jdk 1.8 和hadoop2.7.1，三个服务器节点master，salve1，slave2

1、安装scala

1)下载scala

下载地址

​​https://www.scala-lang.org/download/​​

我这里下载了scale 2.11版本

上传压缩包到centos，然后解压

tar -zxvf scala-2.11.6.tgz

2)配置环境变量

vim /etc/profile

添加配置

export SCALA_HOME=/home/hadoop/scala-2.11.6

export PATH=SCALA_HOME/bin

使配置生效

source /etc/profile

查看版本号

scala -version

2、安装spark

1）下载spark

下载地址

​​https://www.scala-lang.org/download/​​

上传到centos，解压

2）配置环境变量

vim /etc/profile

添加配置

export SPARK_HOME=/home/hadoop/spark-2.3.3-bin-hadoop2.7

export PATH=SPARK_HOME/bin

使配置生效

source /etc/profile

3）配置spark

（1）进入conf文件夹，把spark-env.sh.template复制一份spark-env.sh

cp spark-env.sh.template spark-env.sh

加入以下配置

export JAVA_HOME=/home/hadoop/jdk1.8.0_25

export SCALA_HOME=/home/hadoop/scala-2.11.6

export HADOOP_HOME=/home/hadoop/hadoop-2.7.1

export SPARK_HOME=/home/hadoop/spark-2.3.3-bin-hadoop2.7

export SPARK_MASTER_IP=master

export SPARK_MASTER_PORT=7077

（2）进入conf文件夹，把slaves.template拷贝一份改名为slaves

cp slaves.template slaves

删除localhost加入以下配置

maser slave1 slave2为3个服务器的别名（也可以写ip地址）

（3）将scala和spark都复制一份到slave1和slave2节点（其它所有节点）

scp -r /home/hadoop/spark-2.3.3-bin-hadoop2.7 slave1:/home/hadoop/

scp -r /home/hadoop/scala-2.11.6 slave1:/home/hadoop/

并且每个节点的环境变量都要同样配置，并且spark包中的配置的节点名称或者ip地址也要做相应的修改

3、启动spark

进入master节点

先跑起hadoop，进入hadoop安装包

/sbin/start-all.sh

在进入spark安装包

/sbin/start-all.sh

然后我们jps，我们看到了Master进程，说明我们已经启动了spark

我们远程查看一下，ui默认地址为8080