sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类

Posted 2020-10-21 Python，Docker，Linux

sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类

详述

1. 使用sbt对写的Spark程序打包，过程中没有问题
2. spark-submit提交jar包运行提示找不到对应的类

解决

1. 编译环境没有变化，将代码拷贝到其他项目下打包可以运行，无解
2. 偶然发现IDEA打开的sbt文件显示很多错误，查看详情发现存在错误：java-lang-ClassNotFoundException-org-jetbrain，遂谷歌之，找到了这个网页 ，说是IDEA的bug，打开use sbt shell for build and import选项就好了。尝试之，解决。
3. 另外，Scala中类package object xxxx是创建object默认的写法，把package要去掉

参考

• https://intellij-support.jetbrains.com/hc/en-us/community/posts/115000671044-What-is-estimate-to-support-SBT-1-0-x-or-java-lang-ClassNotFoundException-org-jetbrains-sbt-CreateTasks-
• https://intellij-support.jetbrains.com/hc/en-us/community/posts/206633295-SBT-0-13-9-fail-java-lang-ClassNotFoundException-org-jetbrains-sbt-ReadProject-