spark集群启动命令和Web端口查看

Posted 大数据小罗

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark集群启动命令和Web端口查看相关的知识,希望对你有一定的参考价值。

itcast01上:
启动hadoop集群:
cd /itcast/hadoop-2.6.0/sbin/
./start-dfs.sh
启动yarn:
./start-yarn.sh
itcast02上:
启动resourcemanager
/itcast/hadoop-2.6.0/sbin/yarn-daemon.sh start resourcemanager
itcast01上:
启动spark集群:
cd /itcast/spark-1.3.1-bin-hadoop2.6/sbin/
./start-all.sh
itcast02上启动spark备用 master节点
/itcast/spark-1.3.1-bin-hadoop2.6/sbin/start-master.sh
itcast01上:启动spark shell
/itcast/spark-1.3.1-bin-hadoop2.6/sbin/start-master.sh
bin/spark-shell –master

如果配置了SparkHA,比如zookeeper,在使用spark-submit提交任务时,则需要指定两个master 的信息:spark://itcast01:7077,itcast02:7077

namenode的webUI端口:50070
yarn的web端口:8088
spark集群的web端口:8080
spark-job监控端口:4040

以上是关于spark集群启动命令和Web端口查看的主要内容,如果未能解决你的问题,请参考以下文章

Spark和Hadoop集群的web可视化界面使用

netstat和ss命令查看系统端口信息

spark-shell启动失败

linux怎样查看spark运行状态

Elasticsearch之linux命令查看集群状态

如何指定Spark2作业中Driver和Executor使用指定范围内端口