spark升级后 集成hbase-1.0.0-cdh5.4.5异常

Posted 学而不思则罔,思而不学则殆

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark升级后 集成hbase-1.0.0-cdh5.4.5异常相关的知识,希望对你有一定的参考价值。

.具体场景如下:

spark1.6  升级  spark2.2 后    分析查询hbase  数据报异常:

具体错误如下:

      ERROR TableInputFormat: java.io.IOException: 

      java.lang.reflect.InvocationTargetException

     Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/Trace

     Caused by: java.lang.ClassNotFoundException: org.apache.htrace.Trace

  后发现spark2.2 引入的包路径为  org.htrace

htrace-core-3.0.4 版本的时候路径是 org.htrace

而3.1.0的时候已经贡献给Apache了,改叫org.apache.htrace了

而报错引用的明显是apache 的版本 

引入3.1 版本的包  htrace-core-3.1.0-incubating.jar   集成成功 !

 

以上是关于spark升级后 集成hbase-1.0.0-cdh5.4.5异常的主要内容,如果未能解决你的问题,请参考以下文章

记2018最后一次问题诊断-Spark on Yarn所有任务运行失败

将运行时 7.3LTS(Spark3.0.1) 升级到 9.1LTS(Spark3.1.2) 后创建 PySpark 数据帧 Databricks 时,json 文件中的重复列会引发错误

eclispe集成Scalas环境后,导入外部Spark包报错:object apache is not a member of package org

spark streaming集成flume

Elasticsearch:Apache spark 大数据集成

CDH| Spark升级