bigdata learning unit two--Spark environment setting

Posted 2020-12-28 hoge66

1、下载

Spark安装之前的准备

文件的解压与改名

tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz

rm -rf spark-2.2.0-bin-hadoop2.7.tgz

为了我后面方便配置spark，在这里我把文件夹的名字给改了

mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0
-----------------------------------------------------------------------------------------
打开spark-shell 后，方能打开下面网址

 

http://10.167.202.135:4040/jobs/

 

 

---

配置环境变量

vi /etc/profile

在最尾巴加入

export SPARK_HOME=/usr/local/spark-2.2.0

export PATH=$PATH:$SPARK_HOME/bin

首先我们把缓存的文件spark-env.sh.template改为spark识别的文件spark-env.sh

cp conf/spark-env.sh.template conf /spark-env.sh

vi conf/spark-env.sh

- OPENBLAS_NUM_THREADS=1 Disable multi-threading of OpenBLAS
export JAVA_HOME=/usr/local/jdk1.8

export SCALA_HOME=/usr/local/scala-2.11.7

export HADOOP_HOME=/usr/local/hadoop-3.1.0/

export HADOOP_CONF_DIR=/usr/local/hadoop-3.1.0/etc/hadoop

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=4g

export SPARK_WORKER_CORES=2

export SPARK_WORKER_INSTANCES=1
--------

 

 

*****下面是修改默认端口8080为8086*****

spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：

 

1、cd SPARK_HOME/sbin

 

2、vi start-master.sh

 

 

3、定位到下面部分内容：

 

if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then

  SPARK_MASTER_WEBUI_PORT=8080

fi

 

 

4、修改上面的端口为其它可用端口就行