Spark集群（单机）环境部署

Posted 2022-12-05 準提童子

从以下几个步骤来看如何部署Spark集群：

下载---配置文件---启动---查看---提交任务

1.下载

Spark下载地址： http://spark.apache.org/downloads.html 下载后，存放到目录下：解压

2.配置文件

配置spark-env.sh文件 主要配置以下几项

JAVA_HOME=/usr/java/latest 
SPARK_MASTER_HOST=192.168.10.1xx
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8077

这样就为一台服务器定制好了其ip ,注意SPARK_MASTER_HOST配置为本机iP地址，端口号，以及webUI的端口号

配置slaves文件： Spark集群中的服务器分主从之分，一个master,多个slave节点，配置slaves就是配置从节点的ip，一行一个ip,如果是单机模式，就不要配置slaves了
使用scp命令将spark的文件夹复制到另外一台或多台主机上，注意目录层次应该保持一致，以免出错

3.启动

选择其中一台作为master服务器，在这台主机上运行命令 使用sbin下的命令行： 启动所有服务器：start-all.sh 如果是单机：可以使用start-master.sh 也可以分步启动：先启动master : start-master.sh，再启动其他slave节点：start-slaves.sh ,或者指定启动 start-slave.sh 停止类似。

4.查看

 根据spark-env.sh中配置的webUi端口，在浏览器中查看目前集群的状态： http://192.168.10.1xx:8077/

5.提交任务

使用bin下的spark-submit命令，可以指定多个参数。 提交任务首先需要的是驱动程序的jar包，以及驱动程序所依赖的jar包、驱动程序的配置文件 a 把驱动程序打成jar包，存放在指定目录/xx/ixx/xxx/xxxx/server.jar b 驱动程序所依赖的jar包存放在指定目录

spark.driver.extraClassPath=/xxx/xxx/xxx/xxx/jars/*
spark.executor.extraClassPath=/xxx/xxx/xxx/xxx/jars/*

必须同时指定驱动程序driver的jar包、以及spark算子executor依赖的jar包地址 c 驱动程序配置文件可以放置在spark加载配置文件的默认地址conf下，对于在外部指定配置文件，还不知道~ 简单的提交任务命令行：

 ./bin/spark-submit \\
  --master spark://192.168.10.1xx:7077 \\
  --class xxx.xxx.xxx.SparkLaunch \\
  --executor-memory 10G \\
  /xx/ixx/xxx/xxxx/server.jar >> /xx/xxx/xxx/xxx/logs/running.log 2>&1 &