0539-5.15.0-HBase-Spark无法在Spark2编译通过问题解决

Posted 2022-09-11 Hadoop实操

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：

​​https://github.com/fayson/cdhproject​​

提示：代码块部分可以左右滑动查看噢

1

编译异常

在Spark2代码中使用hbase-spark依赖包访问HBase时，编写的代码无法完成编译，在编译的过程中提示如下错误：

Error:scalac: missing or invalid dependency detected while loading class file HBaseContext.class.

Could not access type Logging in package org.apache.spark,

because it (or its dependencies) are missing. Check your build definition for

missing or conflicting dependencies. (Re-run with `-Ylog-classpath` to see the problematic classpath.)

A full rebuild may help if HBaseContext.class was compiled against an incompatible version of org.apache.spark.

运行工程编译命令时提示“Could not access type Logging in package org.apache.spark”

2

问题分析

经过查看资料找到HBase官网的一个JIRA，地址：

​​https://issues.apache.org/jira/browse/HBASE-16428​​

JIRA中找到在代码中引用了HBaseContext时，使用Spark2编译Spark应用程序将会失败，因为HBaseContext模块引用了org.apache.spark.Logging。在Spark2中，由于Logging被移动到一个私有的包下导致。同样也有Spark2的一个JIRA说明该问题：

​​https://issues.apache.org/jira/browse/SPARK-13928​​

3

问题解决

为了完成编译，这里Fayson使用如下做法解决该问题：

1.在自己的工程下创建一个org.apache.spark的包

2.在org.apache.spark包下创建一个Trait类型的Logging.scala类型，该类的内容通过Spark2源码找到

将spark-core工程下org.apache.spark.internal.Logging类内容拷贝至我们工程下创建的org.apache.spark.Logging类中。

4.完成上述操作后，再次执行编译，可以正常的完成编译

4

总结

1.通过异常分析，由于Logging类在Spark2中私有化了，那在自己的工程中创建重写一个Logging类方式解决该问题。

2.Logging类的内容要确保与对应Spark2版本代码一致，避免造成一些莫名其妙的问题。

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操