运行spark-shell查看版本报错[init] error: error while Loading object, Missing dependency‘ object scala in

Posted 2022-12-05 T_Y_F666

问题

运行spark-shell查看版本报错

[init] error: error while Loading object, Missing dependency' object scala in

详细问题

报错信息

笔者bashrc配置（vim ~/.bashrc）

笔者spark-env.sh配置(vim spark安装目录/conf/spark-env.sh)

解决方案

对于spark-env.sh配置(vim spark安装目录/conf/spark-env.sh`)
在SPARK_SBMIT_OPTS中增加

-Dscala.usejavacp=true

原因

由于spark依赖scala运行，scala依赖于java, 在jvm（即java虚拟机）上运行， 对于scala2.8以后的版本， 默认不会使用java classpath，因此这里需要手动设置，让scala使用java。

总结

笔者根据报错提示与老师指导，在 bashrc下增加如下配置，

再次运行spark-shell查看版本依旧产生上述报错
笔者检查并尝试更改spark-env.sh配置（主要检查是否存在拼写错误）
果然， 存在一处拼写错误

再次运行spark-shell查看版本貌似解决了

但是， 存在语法错误


删除i

再次报错

到此， 错误虽然没有解决， 但是似乎方向已经明确， 在加载spark-env.sh出现报错
可以对此猜想进行验证

猜想无误

具体是哪里的问题
可以一次注释一半内容， 观察是否存在错误（类似于二分的思想）
错误配置如下框（即注释该语句， 可以运行spark-shell查看版本， 否则， 运行spark-shell查看版本报错[init] error: error while Loading object, Missing dependency‘ object scala in）

对于该配置的作用， 简单而言， 进行IDEA 远程断点调试，具体而言，可以参考该博客IDEA 远程断点调试
显然， 若是直接注释， 无法进行IDEA 远程断点调试， 要如何修改呢
笔者对于-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005尝试搜索, 注意到这篇文章
Spark源码分析之Spark Shell（上）
结尾出对该处配置进行解析， 及笔者上文提到的解决方案， 修改后， 最终解决上述报错

参考文献

IDEA 远程断点调试
Spark源码分析之Spark Shell（上）

原创不易
转载请标明出处
如果对你有所帮助 别忘啦点赞支持哈