xshell进sparkshell输入代码报错

Posted 2023-05-05

参考技术A 错误原因:一般是错误的退出spark-shell比如使用Ctrl+C。
解决方法：1.输入命令:netstat-npl|grep4040，2.使用kill-9进程编号关闭占用端口，3.输入ps-ef|grepspark-shell，4.使用kill-9进程编号关闭spark-shell的进程即可。

spark-shell启动报错如下。请问该如何解决。多谢帮助！

参考技术A 试试在spark-env.sh中设置：

export
SPARK_MASTER_IP=127.0.0.1

export
SPARK_LOCAL_IP=127.0.0.1 参考技术B 看conf下的配置文件 spark-env.sh 和 spark-defaults.conf。
这个问题我遇到过，是集群内的各个节点没有正确配置，报错的那台服务器的配置文件的ip配错了。
在页面（:8080）上应该是看不到他的。 参考技术C 首先查看ssh是否能够免密码登陆，一步一步来，确保每个步骤都没有问题
http://pan.baidu.com/s/1gf6zf1L
具体参考里面的文档：Spark集群搭建与测试ubuntu16.04