大数据技术之Spark ——Spark运行模式（local+standalone+yarn）
Posted IT张无忌
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据技术之Spark ——Spark运行模式（local+standalone+yarn）相关的知识，希望对你有一定的参考价值。
文章目录
前言
本篇文章涉及到spark的几种部署模式，需要涉及hadoop集群、如果还没有搭建hadoop集群的兄弟们可以先去搭建hadoop集群 hadoop完全分布式集群搭建 以及一些脚本的编写
虚拟机情况：hadoop02 hadoop03 hadoop04三台作为部署机器
spark版本：spark-3.0.0-bin-hadoop3.2.tgz （注意spark版本后hadoop版本要和自己的hadoop集群版本对应）
一、Spark运行环境
1.1、spark运行环境概述
先贴个官网介绍截图：
Spark 可以在 Hadoop、Apache Mesos、Kubernetes、独立或云端运行。它可以访问不同的数据源。
可以在EC2、Hadoop YARN、Mesos或Kubernetes上使用其独立集群模式运行 Spark 。访问HDFS、 Alluxio、 Apache Cassandra、 Apache HBase、 Apache Hive和数百个其他数据源中的数据。
Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来我们就学习在不同的运行环境下如何部署Spark
1.2、local模式
所谓的 Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学，调试，演示等
1.2.1、上传spark压缩文件并解压
解压改名
#解压
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
#改名
mv spark-3.0.0-bin-hadoop3.2.tgz spark-local1.2.2、启动local环境
【1】进入解压后的spark目录，执行 cd /opt/module/spark-local
bin/spark-shell
【2】启动成功后，在web端查看 http://hadoop02:4040
【3】run 一个官方实例
bin/run-example SparkPi 10
【3】退出本地模式
ctrl+c 或者输入 :quit
1.2.3、命令行工具 (wordcount小测试)
使用spark实现wordcount
准备数据
在spark-local/data目录下新建word.txt文件填入数据
hello spark hello spark hello flink flink hadoop
开启本地模式执行命令
sc.textFile("file:opt/module/spark-local/data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
1.2.4、提交应用
在spark-local目录下执行以下代码
bin/spark-submit \\
--class org.apache.spark.examples.SparkPi \\
--master local[2] \\
./examples/jars/spark-examples_2.12-3.0.0.jar \\
101) --class 表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
2) --master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟 CPU 核数量
3) spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包，实际使用时，可以设定为咱们自己打的 jar 包
4) 数字 10 表示程序的入口参数，用于设定当前应用的任务数量
1.3、Standalone（独立部署模式）
local 本地模式只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，要有组件来负责资源调度。所以接下来就是Spark自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 的 Standalone 模式体现了经典的 master-slave 模式。
先来一个集群规划吧
1.3.1、解压缩文件
【1】解压到/opt/module
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
【2】修改文件名
mv spark-3.0.0-bin-hadoop3.2/ spark-standalone
1.3.2、修改配置文件
【1】进入解压后的目录下的conf目录 ，修改slaves.template为slaves
cd /opt/module/spark-standalone/conf
mv slaves.template slaves
【2】修改slaves文件 添加work节点
vim slaves
#添加以下数据
hadoop02
hadoop03
hadoop04
【3】修改 spark-env.sh.template 文件名为 spark-env.sh
mv spark-env.sh.template spark-env.sh
【4】修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点
export JAVA_HOME=/opt/module/jdk1.8.0_144
SPARK_MASTER_HOST=hadoop02
SPARK_MASTER_PORT=7077注意：7077 端口，相当于 hadoop3 内部通信的 8020 端口，此处的端口需要确认自己的 Hadoop配置
【5】分发spar-standalone目录
xsync spark-standalone
1.3.3、启动集群
【1】执行脚本 启动spark集群
sbin/start-all.sh
【2】查看三台服务器的运行进程 jpsall
【3】查看 Master 资源监控 Web UI 界面: http://hadoop02:8080
1.3.4、配置历史服务器
由于 spark-shell 停止掉后，集群监控 hadoop02:4040 页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。
【1】修改spark-defaults.conf.template为spark-defaults.conf
【2】修改 spark-default.conf 文件，配置日志存储路径
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop02:8020/directory
注意：需要启动 hadoop 集群，HDFS 上的 directory 目录需要提前存在。
【3】修改 spark-env.sh 文件, 添加日志配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop02:8020/directory
-Dspark.history.retainedApplications=30"-
参数 1 含义：WEB UI 访问的端口号为 18080
-
参数 2 含义：指定历史服务器日志存储路径
-
参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
【4】分发配置文件
xsync conf
【5】重新启动集群和历史服务 （启动历史服务器需要启动hadoop集群）
sbin/start-all.sh
sbin/start-history-server.sh
【6】重新执行任务
bin/spark-submit \\
--class org.apache.spark.examples.SparkPi \\
--master spark://hadoop02:7077 \\
./examples/jars/spark-examples_2.12-3.0.0.jar \\
10
【7】查看历史服务：http://hadoop02:18080
以上操作都是基于我们的hadoop集群启动之后的，如果hadoop集群没有启动就算配置了以上的东西，但是在提交应用的时候回报错如下：
1.4、yarn模式
独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是你也要记住，Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。专业的事情交给专业的做，所以接下来我们来学习在强大的 Yarn 环境下 Spark 是如何工作的。
1.4.1、解压改名
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module
mv spark-3.0.0-bin-hadoop3.2 spark-yarn1.4.2、修改配置文件
【1】修改hadoop配置文件并分发
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim yarn-site.xml
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认
是 true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认
是 true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>分发配置文件
xsync yarn-site.xml
【2】修改 conf/spark-env.sh，添加 JAVA_HOME 和 YARN_CONF_DIR 配置
cd /opt/module/spark-yarn/conf
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
#添加 jdk换成自己的jdk完整路径 hadoop也换成自己的
export JAVA_HOME=/opt/module/jdk1.8.0_212
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop1.4.3、启动HDFS和YARN
#使用脚本启动
myhadoop.sh start
#单独启动
#在hadoop02启动HDFS
sbin/start-dfs.sh
#在hadoop03启动YARN
sbin/start-yarn.sh1.4.4、提交应用
bin/spark-submit \\
--class org.apache.spark.examples.SparkPi \\
--master yarn \\
--deploy-mode cluster \\
./examples/jars/spark-examples_2.12-3.0.0.jar \\
10--deploy-mode 是部署模式 集群部署模式
查看job运行的历史记录：http://hadoop03:8088/
1.4.5、配置历史服务器
【1】修改spark-defaults.conf.template 文件名为 spark-defaults.conf
【2】修改 spark-default.conf 文件，配置日志存储路径
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop02:8020/directory注意：需要启动 hadoop 集群，HDFS 上的目录需要提前存在。
【3】修改 spark-env.sh 文件, 添加日志配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop02:8020/directory
-Dspark.history.retainedApplications=30"【4】修改spark-defaults.conf
spark.yarn.historyServer.address=hadoop02:18080
spark.history.ui.port=18080【5】启动历史服务器
sbin/start-history-server.sh
【6】重新提交应用
bin/spark-submit \\
--class org.apache.spark.examples.SparkPi \\
--master yarn \\
--deploy-mode client \\
./examples/jars/spark-examples_2.12-3.0.0.jar \\
10
【7】web页面查看：
http://hadoop03:8088 查看yarn 的job运行日志
http://hadoop02:18080 查看spark的历史服务器
以上是关于大数据技术之Spark ——Spark运行模式（local+standalone+yarn）的主要内容，如果未能解决你的问题，请参考以下文章
大数据技术之_19_Spark学习_05_Spark GraphX 应用解析 + Spark GraphX 概述解析 + 计算模式 + Pregel API + 图算法参考代码 + PageRank(