Spark和Hadoop集群的web可视化界面使用

Posted 2023-04-27

参考技术A 日志聚合的界面jobhistory，可以看到每个job的分配情况，maptask的分配到哪个节点，及完成情况需要在hadoop的sbin下执行如下命令

mr-jobhistory-daemon.sh start historyserver

Hadoop的web页面

yarn

spark的web页面

端口4040

spark-job监控端口

spark集群启动命令和Web端口查看

itcast01上：
启动hadoop集群：
cd /itcast/hadoop-2.6.0/sbin/
./start-dfs.sh
启动yarn：
./start-yarn.sh
itcast02上：
启动resourcemanager
/itcast/hadoop-2.6.0/sbin/yarn-daemon.sh start resourcemanager
itcast01上：
启动spark集群：
cd /itcast/spark-1.3.1-bin-hadoop2.6/sbin/
./start-all.sh
itcast02上启动spark备用 master节点
/itcast/spark-1.3.1-bin-hadoop2.6/sbin/start-master.sh
itcast01上：启动spark shell
/itcast/spark-1.3.1-bin-hadoop2.6/sbin/start-master.sh
bin/spark-shell –master

如果配置了SparkHA，比如zookeeper，在使用spark-submit提交任务时，则需要指定两个master 的信息：spark://itcast01:7077,itcast02:7077

namenode的webUI端口：50070
yarn的web端口：8088
spark集群的web端口：8080
spark-job监控端口：4040