Spark 集群搭建

Posted 2020-11-20 eggplantpro

Apache Spark 一个很快多用途的集群计算系统。提供了很多语言API ：Java, Scala, Python and R，还支持很多高级的工具，包括Spark SQL用于SQL和结构化数据的处理，MLlib机器学习，GraphX 用于图形处理和Spark Streaming. 总的说：Spark 支持离线计算、实时计算、机器学习。

Spark为什么快呢，

1、如果没有需要，Spark处理的数据可以一直在内存直至该条数据计算结束。Hadoop MR  M->R过程 需要shuffle 磁盘

2、task启动时间比较快，Spark是fork出线程；而MR是启动一个新的进程

Spark会根据任务去切分stage（根据宽依赖和窄依赖），每个STAGE 都会是一个线程、一个task。hadoop 总的是分成map和reduce两个过程（这边不谈 combine sort 等过程），而spark 根据代码 把一个job 分成若干个stage，每个stage 处理不同阶段的数据。

 

Spark 主要分为 Master  和 Worker 两个模块，Master 主要是管理，Worker 跑一些 Job

 

1、准备

下载 Spark tar包（spark-2.2.1-bin-hadoop2.7.tgz ），主机 ，主机安装JDK8

我这边搭建的是非HA（High Available）

2、安装

安装无非就是把服务的配置文件改一下

查看目录如下：

conf 下的目录如下，都是一些模板文件，我们需要slave.template  和 spark-env.sh.template 复制出来，并去掉template 的后缀。slaves 是Worker 的 ip 或者 域名，作用就是启动spark的时候 可以用ssh 远程启动 Worker。spark-env.sh 是Spark 的一些环境

cp slave.template slave
cp spark-env.sh.template spark-env.sh

 

直接在文件末尾追加ip 或者 域名

我这边是配置 c2,c4,c5 为work 如果 单机就 配置 localhost 或者 127.0.0.1等

在spark-env.sh末尾追加

export JAVA_HOME=/usr/java/jdk1.8.0_131    #添加jdk环境变量
export SPARK_MASTER_IP=s1                         #添加master ip 或者 域名
export SPARK_MASTER_PORT=7077                 #master 通信端口

　

启动

 

运行spark目录下的sbin/start-all.sh（PS：内网的话，关掉防火墙或者一个一个的开启端口）

启动之后可以通过spark webui 去访问  masterIP+8080

sbin/start-all.sh