spark-core 依赖中的冲突。它是如何工作的？

Posted 2023-03-24

【中文标题】spark-core 依赖中的冲突。它是如何工作的？

【英文标题】：Conflicts in spark-core dependencies. How does it work?

【发布时间】：2021-01-20 07:14:15

【问题描述】：

我的问题的入口点是一个例外：

[info]   Cause: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.8.4
[info]   at com.fasterxml.jackson.module.scala.JacksonModule.setupModule(JacksonModule.scala:64)
[info]   at com.fasterxml.jackson.module.scala.JacksonModule.setupModule$(JacksonModule.scala:51)
[info]   at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
[info]   at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:745)
[info]   at org.apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82)
[info]   at org.apache.spark.rdd.RDDOperationScope$.<clinit>(RDDOperationScope.scala)
[info]   at org.apache.spark.sql.execution.SparkPlan.executeQuery(SparkPlan.scala:152)
[info]   at org.apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:127)
[info]   at org.apache.spark.sql.execution.QueryExecution.toRdd$lzycompute(QueryExecution.scala:83)
[info]   at org.apache.spark.sql.execution.QueryExecution.toRdd(QueryExecution.scala:81)

在升级 Spark 后发生。我设法克服了这个问题，但是我仍然不明白根本原因。 看起来是 Spark 依赖的问题，请看：

https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.12/2.4.7

它需要com.fasterxml.jackson.core » jackson-databind 2.6.7.3。 没问题。 此外，它还需要： https://mvnrepository.com/artifact/org.json4s/json4s-jackson_2.12/3.5.3 没问题。 但是，https://mvnrepository.com/artifact/org.json4s/json4s-jackson_2.12/3.5.3 需要 https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-databind/2.8.4 现在，我们可以看到spark-2.4.7 引入了jackson-databind 自身之间的依赖冲突。我的推理哪里错了？

【参考方案1】：

正如您在 parent-pom 中看到的，com.fasterxml.jackson.core.* 被排除在 json4s-jackson 之外：

https://github.com/apache/spark/blob/v2.4.7/pom.xml#L755

所以，毕竟没有冲突