Mac上搭建spark开发环境

Posted 2020-12-31

本文将介绍在Mac os上搭建Spark开发环境。

在安装spark环境之前，需要确保配置相应的java环境，jdk或者jre的版本需要在1.8.0版本以上。

(1)首先下载开发IDE，目前比较流行的IDE是IntelliJ IDEA,可以在官网下载使用，下载地址：https://www.jetbrains.com/idea/。

(2)Spark环境搭建：
mac上启动终端，使用brew install scala命令(brew是一个软件包管理工具,类似于centos下的yum或者ubuntu下的apt-get)，进行Scala的安装下载，如下：

到此scala的环境已经安装成功，现在我们从spark的官网下载spark相关环境，网址为：http://spark.apache.org/

下载完spark，进入到下载的spark包的文件夹下，执行tar -zxvf spark-2.3.1-bin-hadoop2.7.tar。

安装完scala以及spark后，进行相关环境变量的配置，执行vim /etc/profile命令，在其后追加如下环境变量：

export SCALA_HOME=/usr/local/Cellar/scala/2.12.4
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/Users/mengxin/Downloads/spark-2.3.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

(3)进行本机ssh配置，主目录执行以下命令：

ssh-keygen -t rsa -P ""

cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

执行过程如下：

（4）检测下spark是否能启动

进入spark解压包下的sbin目录，执行./start-all.sh,如下图

可以在local.out文件下查看相关的启动情况。

spark启动后，所启动的master以及worker进程其实就是就是jvm进程，我们可以用jps命令看一下。

再用spark shell测试下，进入到spark安装包的bin目录下，如果出现如下界面，则说明spark安装环境已经大功告成了。