new SparkContext()发生错误java.lang.NoSuchMethodError: scala.Predef
Posted 144823836yj
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了new SparkContext()发生错误java.lang.NoSuchMethodError: scala.Predef相关的知识,希望对你有一定的参考价值。
参考:https://blog.csdn.net/weixin_40137479/article/details/80320324
new SparkContext(conf)发生错误:
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1306) at org.apache.spark.SparkContext.<init>(SparkContext.scala:82) at makeRDDDemo$.main(makeRDDDemo.scala:9) at makeRDDDemo.main(makeRDDDemo.scala)
解决办法:将Scala2.11.x更换为Scala2.10.x
File –> Other Settings –> Default Project Structure –> Global Library
以上是关于new SparkContext()发生错误java.lang.NoSuchMethodError: scala.Predef的主要内容,如果未能解决你的问题,请参考以下文章
为啥在 sagemaker 笔记本中导入 SparkContext 库时出现错误?
SparkContext:运行 Spark 作业时初始化 SparkContext 时出错
Spark 错误 - 值文本文件不是 org.apache.spark.sparkcontext 的成员
Pyspark:Spyder 中的 SparkContext 定义引发 Java 网关错误