new SparkContext()发生错误java.lang.NoSuchMethodError: scala.Predef

Posted 144823836yj

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了new SparkContext()发生错误java.lang.NoSuchMethodError: scala.Predef相关的知识,希望对你有一定的参考价值。

参考:https://blog.csdn.net/weixin_40137479/article/details/80320324

 

new SparkContext(conf)发生错误:

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1306)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:82)
at makeRDDDemo$.main(makeRDDDemo.scala:9)
at makeRDDDemo.main(makeRDDDemo.scala)

 

解决办法:将Scala2.11.x更换为Scala2.10.x

File –> Other Settings –> Default Project Structure –> Global Library

以上是关于new SparkContext()发生错误java.lang.NoSuchMethodError: scala.Predef的主要内容,如果未能解决你的问题,请参考以下文章

为啥在 sagemaker 笔记本中导入 SparkContext 库时出现错误?

SparkContext:运行 Spark 作业时初始化 SparkContext 时出错

Spark 错误 - 值文本文件不是 org.apache.spark.sparkcontext 的成员

Pyspark:Spyder 中的 SparkContext 定义引发 Java 网关错误

Jupyter中的PySpark SparkContext名称错误'sc'

SparkContext 错误 - 找不到文件 /tmp/spark-events 不存在