spark启动问题，发现任务都是在localhost下面运行的，原来启动spark-shell的时候需要带主节点的参数

Posted 2020-09-18 诸葛小四

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark启动问题，发现任务都是在localhost下面运行的，原来启动spark-shell的时候需要带主节点的参数相关的知识，希望对你有一定的参考价值。

在Spark 集群上运行一个应用,只需通过master的 spark://IP:PORT 链接传递到SparkContext构造器

在集群上运行交互式的Spark 命令, 运行如下命令：

MASTER=spark://IP:PORT ./spark-shell

注意，如果你在一个 spark集群上运行了spark-shell脚本，spark-shell 将通过在conf/spark-env.sh下的SPARK_MASTER_IP和SPARK_MASTER_PORT自动设置MASTER .

你也可以传递一个参数-c <numCores> 来控制 spark-shell 在集群上使用的核心数量

以上是关于spark启动问题，发现任务都是在localhost下面运行的，原来启动spark-shell的时候需要带主节点的参数的主要内容，如果未能解决你的问题，请参考以下文章