spark-2.4.5 安装记录

Posted sjjsxl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark-2.4.5 安装记录相关的知识,希望对你有一定的参考价值。

 参考 https://data-flair.training/blogs/install-apache-spark-multi-node-cluster/

下载 spark 技术图片地址为 

 

 http://spark.apache.org/downloads.html

准备三个节点

192.168.1.1 [hostname] master
192.168.1.2 [hostname] slave1
192.168.1.3 [hostname] slave2

将以上配置 append 到 三个节点机器上的  /etc/hosts  中。由于我这里三台机器的 domain 均不同,所以设置了 [hostname],例如 master 节点的为

192.168.1.1 xxx.localdomain master

查看主机名方法为,

$ hostname

如果最后启动spark 报错 unknown hostname,一般就是指主机名未设置,此时通过 

$ hostname -i

发现会报同样的错误。

 

安装步骤:

一、设置 ssh 免密登录

如果没有安装 ssh,则需要安装

sudo apt install openssh-server

三台机器上均执行

ssh-keygen -t rsa

一路回车,使用默认设置(密钥文件路径和文件名)

将 slave1 slave2 上面的  ~/.ssh/id_rsa.pub 文件 拷贝到 master 节点上,

scp ~/.ssh/id_rsa.pub xxx@master:~/.ssh/id_rsa.pub.slave1
scp ~/.ssh/id_rsa.pub xxx@master:~/.ssh/id_rsa.pub.slave2

注意,xxx 表示用户名,这三台机器上最好使用相同的用户名,如需要,可创建用户

adduser xxx # 创建新用户 xxx
passwd xxx  # 给 xxx 设置密码

 

在 master 上执行

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys xxx@slave1:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys xxx@slave2:~/.ssh/authorized_keys

在 master 上验证无密码登录

ssh slave1
ssh slave2

在 slave1/slave2 上也可以无密码登录其他两个节点。

注意:.ssh 文件夹的权限必须为 700, authorized_keys 文件权限必须为 600(其他权限值可能均不奏效),修改权限使用

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

 

二、安装jdk ,scala,spark

省略,spark 的安装仅仅是将上面下载的文件解压即可。注意配置环境变量 

export JAVA_HOME=...
export SCALA_HOME=...
export SPARK_HOME=...
export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

在 master 节点上,进入 SPARK_HOME 下的 conf 目录,

cd conf
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves

编辑 slaves 文件

# localhost
slave1
slave2

编辑 spark-env.sh 文件

export JAVA_HOME=...
export SPARK_WORKER_CORES=8

在 slave1 和 slave2 上,执行同样的操作。

注意:spark 目录最好在三台节点上保持相同,即 环境变量 SPARK_HOME 相同

三、启动集群

在 master 节点上执行

sbin/start-all.sh

关闭集群则执行

sbin/stop-all.sh

启动后,可以在 master 或 slave1/slave2 上执行  jps  以查看 java 进程。查看 web 界面,地址为

http://MASTER-IP:8080/

 如果发现 worker 节点连接不是 master,报错如下

Caused by: java.io.IOException: Connecting to :7077 timed out (120000 ms)
...
org.apache.spark.deploy.worker.Worker$$anonfun$org$apache$spark$deploy$worker$Worker$$tryRegisterAllMasters$1$$anon$1.run
...

那么需要在 三台机器上的 $SPARK_HOME/conf/spark-env.sh 添加

export SPARK_MASTER_HOST=<master ip>

然后重新执行 

sbin/start-all.sh

 

以上是关于spark-2.4.5 安装记录的主要内容,如果未能解决你的问题,请参考以下文章

Spark-Local模式环境搭建

除了 Spark 发布包,我还需要安装其他东西吗?

如何配置 Apache Spark 2.4.5 以连接到 HIVE 的 MySQL Metastore?

CSP核心代码片段记录

记录C#常用的代码片段

通过配置hive-site.xml文件实现Hive集成Spark