spark升级后 集成hbase-1.0.0-cdh5.4.5异常
Posted 学而不思则罔,思而不学则殆
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark升级后 集成hbase-1.0.0-cdh5.4.5异常相关的知识,希望对你有一定的参考价值。
.具体场景如下:
spark1.6 升级 spark2.2 后 分析查询hbase 数据报异常:
具体错误如下: ERROR TableInputFormat: java.io.IOException: java.lang.reflect.InvocationTargetException Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/Trace Caused by: java.lang.ClassNotFoundException: org.apache.htrace.Trace
后发现spark2.2 引入的包路径为 org.htrace
htrace-core-3.0.4 版本的时候路径是 org.htrace
而3.1.0的时候已经贡献给Apache了,改叫org.apache.htrace了
而报错引用的明显是apache 的版本
引入3.1 版本的包 htrace-core-3.1.0-incubating.jar 集成成功 !
以上是关于spark升级后 集成hbase-1.0.0-cdh5.4.5异常的主要内容,如果未能解决你的问题,请参考以下文章
记2018最后一次问题诊断-Spark on Yarn所有任务运行失败
将运行时 7.3LTS(Spark3.0.1) 升级到 9.1LTS(Spark3.1.2) 后创建 PySpark 数据帧 Databricks 时,json 文件中的重复列会引发错误
eclispe集成Scalas环境后,导入外部Spark包报错:object apache is not a member of package org