spark部署启动过程中http访问不到从节点Worker

Posted qq_41546867

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark部署启动过程中http访问不到从节点Worker相关的知识,希望对你有一定的参考价值。

系统:CentOS7

版本:spark2.4

虚拟机:三台

问题描述:安装好spark后可以启动,且可以在浏览器访问的页面,但是发现从节点的Workrd没访问到,查询日志以后发现是启动成功的,没有异常报错,后面怀疑是从节点上之前配置的文件没有配置好,导致没有访问上

解决方法:把从节点上的spark删除重新从主节点上重新发送spark,同时检查防火墙(systemctl  status firewalld),发现防火墙是开着的,顺手关掉了(systemctl stop firewalld),重新回到spark/sbin目录下执行./start-all.sh,刷新网页成功看到三个Worker

 

以上是关于spark部署启动过程中http访问不到从节点Worker的主要内容,如果未能解决你的问题,请参考以下文章

Spark Read.json 找不到文件

war包远程部署访问不到问题解决过程总结

CDH集群提交Spark作业原理及过程分析

Spark-Standalone模式

Spark执行流程(转)

CDH集群spark-shell执行过程分析