Spark的四种运行模式
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark的四种运行模式相关的知识，希望对你有一定的参考价值。
参考技术A 介绍本地模式
Spark单机运行，一般用于开发测试。
Standalone模式
构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。
Spark on Yarn模式
Spark客户端直接连接Yarn。不需要额外构建Spark集群。
Spark on Mesos模式
Spark客户端直接连接Mesos。不需要额外构建Spark集群。
启动方式: spark-shell.sh(Scala)
spark-shell通过不同的参数控制采用何种模式进行。 涉及两个参数：
对于Spark on Yarn模式和Spark on Mesos模式还可以通过 –deploy-mode参数控制Drivers程序的启动位置。
进入本地模式：
进入Standalone模式：
备注：测试发现MASTER_URL中使用主机名替代IP地址无法正常连接(hosts中有相关解析记录)，即以下命令连接不成功：
./spark-shell --master spark://ctrl:7077 # 连接失败
Spark on Yarn模式
备注：Yarn的连接信息在Hadoop客户端的配置文件中指定。通过spark-env.sh中的环境变量HADOOPCONFDIR指定Hadoop配置文件路径。
Spark on Mesos模式：
启动方式: pyspark(Python)
参数及用法与Scala语言的spark-shell相同，比如：
以上是关于Spark的四种运行模式的主要内容，如果未能解决你的问题，请参考以下文章