Spark和Kafka在IDEA整合运行时提示''com.fasterxml.jackson.databind.JsonMappingException: Incompatible J
Posted 斐波那切
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark和Kafka在IDEA整合运行时提示''com.fasterxml.jackson.databind.JsonMappingException: Incompatible J相关的知识，希望对你有一定的参考价值。
使用kafka和sparkstreaming整合时，IDEA运行程序报错"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.1"，初步看是版本不兼容，但是版本后面确认没有问题，参考博文，修改了依赖包的依赖顺序就解决了问题。
依赖包顺序
修改了依赖包顺序，前三个如图所示的顺序是ok的。
①spark安装包中的jar包
②kafka安装包中的jar包
③sparkstreaming和kafka的整合jar包
运行程序
运行程序，发现kafka接收到flume的消息后，sparkstreaming可以正常pull，并将结果打印到控制台。
本次没有使用maven来管理jar包，直接导入安装包中的jar包来运行的，依赖包顺序调整只是这个报错的一种解决解决办法，具体原因暂时不明。
参考博文：
以上是关于Spark和Kafka在IDEA整合运行时提示''com.fasterxml.jackson.databind.JsonMappingException: Incompatible J的主要内容，如果未能解决你的问题，请参考以下文章
Spark 系列（十六）—— Spark Streaming 整合 Kafka
整合Kafka到Spark Streaming——代码示例和挑战
整合Kafka到Spark Streaming——代码示例和挑战