CentOS7安装spark集群

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CentOS7安装spark集群相关的知识,希望对你有一定的参考价值。

前提:使用的环境是centos7.2,已经安装了jdk 1.8 和hadoop2.7.1,三个服务器节点master,salve1,slave2

1、安装scala

1)下载scala

下载地址

https://www.scala-lang.org/download/

我这里下载了scale 2.11版本

CentOS7安装spark集群_scala

上传压缩包到centos,然后解压

tar -zxvf scala-2.11.6.tgz

2)配置环境变量

vim /etc/profile

添加配置

export SCALA_HOME=/home/hadoop/scala-2.11.6

export PATH=CentOS7安装spark集群_spark_02SCALA_HOME/bin

CentOS7安装spark集群_hadoop_03

使配置生效

source /etc/profile

查看版本号

scala -version

CentOS7安装spark集群_scala_04

2、安装spark

1)下载spark

下载地址

https://www.scala-lang.org/download/

CentOS7安装spark集群_hadoop_05

上传到centos,解压

2)配置环境变量

vim /etc/profile

添加配置

export SPARK_HOME=/home/hadoop/spark-2.3.3-bin-hadoop2.7

export PATH=CentOS7安装spark集群_spark_02SPARK_HOME/bin

CentOS7安装spark集群_scala_07

使配置生效

source /etc/profile

3)配置spark

(1)进入conf文件夹,把spark-env.sh.template复制一份spark-env.sh

cp spark-env.sh.template spark-env.sh

加入以下配置

export JAVA_HOME=/home/hadoop/jdk1.8.0_25

export SCALA_HOME=/home/hadoop/scala-2.11.6

export HADOOP_HOME=/home/hadoop/hadoop-2.7.1

export SPARK_HOME=/home/hadoop/spark-2.3.3-bin-hadoop2.7

export SPARK_MASTER_IP=master

export SPARK_MASTER_PORT=7077

(2)进入conf文件夹,把slaves.template拷贝一份改名为slaves

cp slaves.template slaves

删除localhost加入以下配置

maser slave1 slave2为3个服务器的别名(也可以写ip地址)

CentOS7安装spark集群_spark_08

(3)将scala和spark都复制一份到slave1和slave2节点(其它所有节点)

scp -r /home/hadoop/spark-2.3.3-bin-hadoop2.7 slave1:/home/hadoop/

scp -r /home/hadoop/scala-2.11.6 slave1:/home/hadoop/

并且每个节点的环境变量都要同样配置,并且spark包中的配置的节点名称或者ip地址也要做相应的修改

3、启动spark

进入master节点

先跑起hadoop,进入hadoop安装包

/sbin/start-all.sh

在进入spark安装包

/sbin/start-all.sh

然后我们jps,我们看到了Master进程,说明我们已经启动了spark

我们远程查看一下,ui默认地址为8080

CentOS7安装spark集群_spark_09

以上是关于CentOS7安装spark集群的主要内容,如果未能解决你的问题,请参考以下文章

Spark集群框架搭建VM15+CentOS7+Hadoop+Scala+Spark+Zookeeper+HBase+Hive

hadoop-spark-zk集群安装

Spark集群搭建记录 | 云计算[CentOS7] | Scala Maven项目访问Spark实现单词计数

Centos7 搭建单机Spark分布式集群

CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装

03. 搭建Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)