spark-shell启动失败
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark-shell启动失败相关的知识，希望对你有一定的参考价值。
参考技术A 公司小组分配了三台虚拟机，在虚拟机上面意欲装hadoop集群及spark on yarnHadoop 2.7.2
spark 2.3.2
配置好hadoop集群与spark配置后，启动spark-shell --master yarn报错如下
ApplicationMaster日志如下
上图可以看出ApplicationMaster进程丢失，导致连接失败
在AM启动节点上面查看NM的日志信息如下(部分日志)
有此日志可以看出由于AM的vmem内存使用(2.3G)超出了默认的(2.1G)，因此被kill掉了
spark-shell 启动失败，显示端口问题
应该是端口问题，找不到spark节点。手动设置端口号
spark-shell --conf spark.shuffle.service.enabled=true --conf spark.replClassServer.port=15002
以上是关于spark-shell启动失败的主要内容，如果未能解决你的问题，请参考以下文章
为啥 spark-shell 因 NullPointerException 而失败？
Zeppelin spark RDD 命令失败但在 spark-shell 中工作
Mahout 0.13.0 spark-shell 示例因“java.library.path 中没有 jniViennaCL”而失败