spark操作kudu,出现异常java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource
Posted ITboy-Bear
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark操作kudu,出现异常java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource相关的知识,希望对你有一定的参考价值。
环境:
CDH6.3.2
Kudu 1.10.0-cdh6.3.2
Spark2.4.0-cdh6.3.2
错误:
java.lang.ClassNotFoundException: Failed to find data source: org.apache.kudu.spark.kudu.
java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource
解决:
将/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/kudu下的kudu-spark2_2.11-1.10.0-cdh6.3.2.jar
移动到/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/jars目录下
以上是关于spark操作kudu,出现异常java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource的主要内容,如果未能解决你的问题,请参考以下文章
spark/java连接 kudu incompatible RPC 异常解决
Spark的WordCount操作过程中出现Exception in thread “main“ java.lang.ArrayIndexOutOfBoundsException: 10582问题