Spark fasterxml包冲突异常解决方法

Posted chhyan-dream

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark fasterxml包冲突异常解决方法相关的知识,希望对你有一定的参考价值。

一、概述

  在调试Spark项目的时候报了一个包冲突异常,找了好长时间,最后发现是包冲突了;特此记录一下,原始报错找不到了。一般包冲突有个明显的特征就是报类找不到异常,可以根据提示把Spark冲突的包排除掉,然后再把其他的把单独加上去,就可以解决了。

Caused by: java.lang.NumberFormatException

二、Hbase和spark整合的问题

Hbase和Spark整合的时候也会有包冲突的问题,把hadoop-client中的冲突包排除掉,然后再单独加上就可以了。

以上是关于Spark fasterxml包冲突异常解决方法的主要内容,如果未能解决你的问题,请参考以下文章

fasterxml jackson 的包冲突太垃圾太恶心了: Could not initialize class com.fasterxml.jackson.databind.Seriali...

spark-core 依赖中的冲突。它是如何工作的?

Spark和Kafka在IDEA整合运行时提示''com.fasterxml.jackson.databind.JsonMappingException: Incompatible J

spark on yarn运行产生jar包冲突问题

Jar包冲突解决方法

使用maven-shade-plugin插件解决spark依赖冲突问题