Java spark 示例运行错误并出现错误：java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$

Posted 2023-02-23

【中文标题】Java spark 示例运行错误并出现错误：java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$

【英文标题】：Java spark example runs wrong with error: java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$

【发布时间】：2017-02-17 22:02:24

【问题描述】：

我在Intelligent IDEA 中写了一个带有spark maven 支持的示例。 spark 版本是 2.0.0，hadoop 版本是 2.7.3，scala 版本是 2.11.8。系统和IDE环境是同一个版本。然后应用程序运行错误：

线程“主”java.lang.NoSuchMethodError 中的异常： scala.Predef$.$scope()Lscala/xml/TopScope$;在 org.apache.spark.ui.jobs.StagePage.(StagePage.scala:44) 在 org.apache.spark.ui.jobs.StagesTab.(StagesTab.scala:34) 在 org.apache.spark.ui.SparkUI.(SparkUI.scala:62) 在 org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215) 在 org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157) 在 org.apache.spark.SparkContext.<init>(SparkContext.scala:443)在 org.apache.spark.SparkContext.<init>(SparkContext.scala:149) 在 org.apache.spark.SparkContext.<init>(SparkContext.scala:185) 在 org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:92) 在com.spark.test.WordCountTest.main(WordCountTest.java:25) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在java.lang.reflect.Method.invoke(Method.java:606) 在 com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

【问题讨论】：

某处版本不匹配。检查您的集群、sbt 等。

【参考方案1】：

使用 scala 2.10 构建 Spark 2.0.0，您必须添加 scala 2.10 作为框架支持

【参考方案2】：

将pom.xml 更新为scala 2.11.8。 有关版本兼容性，请参阅 spark 下载文档。