sbt.librarymanagement.ResolveException：下载 org.apache.spark 时出错：spark-core:3.0.1

Posted 2023-03-24

【中文标题】sbt.librarymanagement.ResolveException：下载 org.apache.spark 时出错：spark-core:3.0.1

【英文标题】：sbt.librarymanagement.ResolveException: Error downloading org.apache.spark:spark-core:3.0.1

【发布时间】：2021-11-09 15:55:50

【问题描述】：

面临以下问题：

提取结构失败，原因：结构文件为空栈 痕迹被抑制；为完整的输出堆栈跟踪运行“上次更新” 被压制；运行'last ssExtractDependencies'以获得完整输出 (更新) sbt.librarymanagement.ResolveException: 下载错误 org.apache.spark:spark-core:3.0.1 未找到 未找到 未找到： C:\Users\admin.ivy2\localorg.apache.spark\spark-core\3.0.1\ivys\ivy.xml 未找到： https://repo1.maven.org/maven2/org/apache/spark/spark-core/3.0.1/spark-core-3.0.1.pom (ssExtractDependencies) sbt.librarymanagement.ResolveException: 错误 正在下载 org.apache.spark:spark-core:3.0.1 未找到 未找到 未找到 成立： C:\Users\admin.ivy2\localorg.apache.spark\spark-core\3.0.1\ivys\ivy.xml 未找到： https://repo1.maven.org/maven2/org/apache/spark/spark-core/3.0.1/spark-core-3.0.1.pom 总时间：2 秒，2021 年 9 月 14 日下午 6:16:34 完成

spark 版本：3.0.1

buid.sbt 文件

name := "OCH_SCALA"

version := "0.3"
scalaVersion := "2.13.6"

libraryDependencies += "org.apache.spark" % "spark-core" % "3.0.1"

libraryDependencies += "org.apache.spark" %"spark-sql" % "3.0.1" % provided"

【问题讨论】：

将scala版本改为2.12.0

【参考方案1】：

您的构建定义中有两个问题：

您应该使用%% 语法，以便在查找依赖项时自动使用 Scala 版本

使用 Scala 2.12，Spark 尚不适用于 Scala 2.13+。

即：

scalaVersion := "2.12.13"

libraryDependencies += "org.apache.spark" %% "spark-core" % "3.0.1"

libraryDependencies += "org.apache.spark" %% "spark-sql" % "3.0.1" % Provided