Spark HA 配置中spark.deploy.zookeeper.url 的意思

Posted 一剑侵心

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark HA 配置中spark.deploy.zookeeper.url 的意思相关的知识,希望对你有一定的参考价值。

Spark HA的配置网上很多,最近我在看王林的Spark的视频,要付费的。那个人牛B吹得很大,本事应该是有的,但是有本事,不一定就是好老师。一开始吹中国第一,吹着吹着就变成世界第一。就算你真的是世界第一,视频(2.Spark内核解密(11-43讲全)中的第12课)里关于spark.deploy.zookeeper.url的说法是错误的。他说应该配置的是spark的master的地址,后来他在配置的几台机器上都启动了Spark master和zookeeper。实际上这里的URL指的是zookeeper的URL。比如下面的配置:

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ubuntu3:2181,ubuntu4:2181,ubuntu5:2181"

我们需要在ubuntu3~ubuntu5中都启动zookeeper,我们可以在ubuntu1和ubuntu2上分别启动master。同样可以实现高可用。这说明了他说的是错误的。

以上是关于Spark HA 配置中spark.deploy.zookeeper.url 的意思的主要内容,如果未能解决你的问题,请参考以下文章

为啥停止独立 Spark 主服务器失败并显示“没有 org.apache.spark.deploy.master.Master 停止”?

关于org.apache.spark.deploy.yarn.Client类

Spark 分布式环境---slave节点无法启动(已解决)

Spark启动流程(Standalone)- master源码

Spark2.1.0单机模式无法启动master的问题

Spark-源码-Spark-Submit 任务提交