spark的部署方式standalone和yarn有啥区别

Posted 2023-04-09

参考技术A spark的部署方式standalone和yarn有什么区别
Names ：用于改变段(segment)、组(group) 和类(class)的名字,默认值为CODE, DATA, BSS。
2. Linker：本菜单设置有关连接的选择项, 它有以下内容，如图所示：
1) Map file menu 选择是否产生.MAP文件。
2) Initialize segments是否在连接时初始化没有初始化的段。
3) Devault libraries是否在连接其它编译程序产生的目标文件时去寻找其缺省库。
4) Graphics library 是否连接graphics库中的函数。
5) Warn duplicate symbols当有重复符号时产生警告信息。
6) Stack warinig是否让连接程序产生No stack的警告信息。
7) Case-sensitive link是否区分大、小写字。
3. Environment：菜单规定是否对某些文件自动存盘及制表键和屏幕大小的设置，它有以下内容，如图所示：
1) Message tracking：
? Current file 跟踪在编辑窗口中的文件错误。
? All files跟踪所有文件错误。本回答被提问者采纳

SparkSpark的Standalone模式安装部署

Spark执行模式

Spark 有非常多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则执行在集群中，眼下能非常好的执行在 Yarn和 Mesos 中。当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，假设企业已经有 Yarn 或者 Mesos 环境。也是非常方便部署的。

• local(本地模式)：经常使用于本地开发測试，本地还分为local单线程和local-cluster多线程;
• standalone(集群模式)：典型的Mater/slave模式，只是也能看出Master是有单点故障的；Spark支持ZooKeeper来实现 HA
• on yarn(集群模式)： 执行在 yarn 资源管理器框架之上，由 yarn 负责资源管理，Spark 负责任务调度和计算
• on mesos(集群模式)： 执行在 mesos 资源管理器框架之上，由 mesos 负责资源管理。Spark 负责任务调度和计算
• on cloud(集群模式)：比方 AWS 的 EC2，使用这个模式能非常方便的訪问 Amazon的 S3;Spark 支持多种分布式存储系统：HDFS 和 S3

Spark Standalone集群部署

准备工作

• 这里我下载的是Spark的编译版本号，否则须要事先自行编译
• Spark须要Hadoop的HDFS作为持久化层。所以在安装Spark之前须要安装Hadoop，这里Hadoop的安装就不介绍了，给出一个教程Hadoop安装教程_单机/伪分布式配置
• 实现创建hadoop用户，Hadoop、Spark等程序都在该用户下进行安装
• ssh无password登录，Spark集群中各节点的通信须要通过ssh协议进行，这须要事先进行配置。

  通过在hadoop用户的.ssh文件夹下将其它用户的id_rsa.pub公钥文件内容拷贝的本机的authorized_keys文件里。就可以事先无登录通信的功能

• Java环境的安装，同一时候将JAVA_HOME、CLASSPATH等环境变量放到主文件夹的.bashrc，执行source .bashrc使之生效

部署配置

这里配置工作须要以下几个步骤：

1. 解压Spark二进制压缩包
2. 配置conf/spark-env.sh文件
3. 配置conf/slave文件

以下详细说明一下：

• 配置Spark的执行环境，将spark-env.sh.template模板文件复制成spark-env.sh。然后填写对应须要的配置内容：

export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g

其它选项内容请參照以下的选项说明：

# Options for the daemons used in the standalone deploy mode:
# - SPARK_MASTER_IP, to bind the master to a different IP address or hostname
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
# - SPARK_WORKER_CORES, to set the number of cores to use on this machine
# - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g)
# - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker
# - SPARK_WORKER_INSTANCES, to set the number of worker processes per node
# - SPARK_WORKER_DIR, to set the working directory of worker processes
# - SPARK_WORKER_OPTS, to set config properties only for the worker (e.g. "-Dx=y")
# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. "-Dx=y")

• conf/slave文件用户分布式节点的配置。这里仅仅须要在slave文件里写入该节点的主机名就可以

• 将以上内容都配置好了，将这个spark文件夹复制到各个节点scp -r spark [email protected]:~

• 接下来就能够启动集群了，在Spark文件夹中执行sbin/start-all.sh，然后能够通过netstat -nat命令查看端口7077的进程，还能够通过浏览器訪问hadoop1:8080了解集群的概况

Spark Client部署

Spark Client的作用是。事先搭建起Spark集群，然后再物理机上部署client，然后通过该client提交任务给Spark集群。

因为上面介绍了Standalone分布式集群是怎样搭建的，这里仅仅需将集群上的spark文件夹拷贝过来。
最简单的Sparkclient訪问集群的方式就是通过Spark shell的方式：bin/spark-shell --master spark://hadoop1:7077这样就能够訪问集群了。
这样在浏览器的Spark集群界面上就能够看到Running Applications一栏中有Spark shell的应用在执行。

Spark Standalone伪分布式部署

伪分布式是在一台机器上进行部署来模拟分布式的集群，这里部署的过程和Standalone集群的部署是相似的，事前的工作都是一样的。这里仅仅是在配置文件里做对应的改动就能够了。

这里还是配置这两个文件：

配置conf/spark-env.sh文件
配置conf/slave文件

• 改动spark-env.sh文件，改动master的ip，这里主机名和用户ip分别在/etc/hostname和/etc/hosts文件里进行配置

export SPARK_MASTER_IP=jason
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g

• slave文件里。填写自己的主机名，比方我的主机名jason

转载请注明作者Jason Ding及其出处
GitCafe博客主页(http://jasonding1354.gitcafe.io/)
Github博客主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)
百度搜索jasonding1354进入我的博客主页