java.lang.NoClassDefFoundError: org/apache/hive/hcatalog/mapreduce/HCatOutputFor

Posted 2023-05-13

sqoop export --connect ************************ --table YJSDATA.PH_CREDIT_CREDDETAIL --hcatalog-database ods_Cr --hcatalog-table PH_CREDIT_CREDDETAIL ;
最简单一个sqoop，但是执行时报错：
17/10/19 16:56:20 INFO mapreduce.ExportJobBase: Configuring HCatalog for export job
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hive/hcatalog/mapreduce/HCatOutputFormat
at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:420)
at org.apache.sqoop.manager.OracleManager.exportTable(OracleManager.java:455)
at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:81)
at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:100)
at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
Caused by: java.lang.ClassNotFoundException: org.apache.hive.hcatalog.mapreduce.HCatOutputFormat
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 10 more

hive-hcatalog-core-1.2.2.jar 这个jar 已经放入到 $HIVE_HOME/lib中，怎么解决报错

参考技术A 缺少jar包。追问

是缺少jar包，但是hive-hcatalog-core-1.2.2.jar 这个jar已经放入了sqoop 和hive 的lib下了

追答

通常是因为你放置的位置错误，导致classloader加载不到，不是放在lib下就可以了。跟踪错误栈，你看是哪个类报的。

获取 NoClassDefFoundError：无法初始化类 org.codehaus.groovy.vmplugin.v7.Java7

【中文标题】获取 NoClassDefFoundError：无法初始化类 org.codehaus.groovy.vmplugin.v7.Java7

【英文标题】：Getting NoClassDefFoundError: Could not initialize class org.codehaus.groovy.vmplugin.v7.Java7

【发布时间】：2020-12-17 13:25:01

【问题描述】：

我在启动 Spring Boot 应用程序时收到以下错误。

java.lang.NoClassDefFoundError: Could not initialize class org.codehaus.groovy.reflection.ReflectionCache
    at org.codehaus.groovy.runtime.dgmimpl.NumberNumberMetaMethod.<clinit>(NumberNumberMetaMethod.java:33) ~[groovy-2.5.8.jar:2.5.8]
    at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) ~[na:na]
    at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) ~[na:na]
    at java.base/jdk.internal.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) ~[na:na]
    at java.base/java.lang.reflect.Constructor.newInstanceWithCaller(Constructor.java:500) ~[na:na]
    at java.base/java.lang.reflect.Constructor.newInstance(Constructor.java:481) ~[na:na]
    at org.codehaus.groovy.runtime.metaclass.MetaClassRegistryImpl.createMetaMethodFromClass(MetaClassRegistryImpl.java:258) ~[groovy-2.5.8.jar:2.5.8]
    at org.codehaus.groovy.runtime.metaclass.MetaClassRegistryImpl.<init>(MetaClassRegistryImpl.java:111) ~[groovy-2.5.8.jar:2.5.8]
    at org.codehaus.groovy.runtime.metaclass.MetaClassRegistryImpl.<init>(MetaClassRegistryImpl.java:86) ~[groovy-2.5.8.jar:2.5.8]
    at groovy.lang.GroovySystem.<clinit>(GroovySystem.java:36) ~[groovy-2.5.8.jar:2.5.8]
    at org.springframework.beans.factory.groovy.GroovyBeanDefinitionReader.<init>(GroovyBeanDefinitionReader.java:150) ~[spring-beans-5.2.2.RELEASE.jar:5.2.2.RELEASE]
    at org.springframework.boot.BeanDefinitionLoader.<init>(BeanDefinitionLoader.java:85) ~[spring-boot-2.2.2.RELEASE.jar:2.2.2.RELEASE]
    at org.springframework.boot.SpringApplication.createBeanDefinitionLoader(SpringApplication.java:738) ~[spring-boot-2.2.2.RELEASE.jar:2.2.2.RELEASE]
    at org.springframework.boot.SpringApplication.load(SpringApplication.java:681) ~[spring-boot-2.2.2.RELEASE.jar:2.2.2.RELEASE]
    at org.springframework.boot.SpringApplication.prepareContext(SpringApplication.java:392) ~[spring-boot-2.2.2.RELEASE.jar:2.2.2.RELEASE]
    at org.springframework.boot.SpringApplication.run(SpringApplication.java:314) ~[spring-boot-2.2.2.RELEASE.jar:2.2.2.RELEASE]
    at org.springframework.boot.SpringApplication.run(SpringApplication.java:1226) ~[spring-boot-2.2.2.RELEASE.jar:2.2.2.RELEASE]
    at org.springframework.boot.SpringApplication.run(SpringApplication.java:1215) ~[spring-boot-2.2.2.RELEASE.jar:2.2.2.RELEASE]
    at pizzainthecloud.pizzaplace.Application.main(Application.java:23) ~[main/:na]

经过大量搜索，我发现了包括 java.lang.NoClassDefFoundError: Could not initialize class org.codehaus.groovy.vmplugin.v7.Java7 在内的多个实例，但大多数是旧版本 gradle 和 groovy 上的旧帖子，或者它们与 android 相关。

这是我的版本信息：

$ gradle -version

------------------------------------------------------------
Gradle 6.6.1
------------------------------------------------------------

Build time:   2020-08-25 16:29:12 UTC
Revision:     f2d1fb54a951d8b11d25748e4711bec8d128d7e3

Kotlin:       1.3.72
Groovy:       2.5.12
Ant:          Apache Ant(TM) version 1.10.8 compiled on May 10 2020
JVM:          14.0.2 (Oracle Corporation 14.0.2+12-46)
OS:           Linux 5.4.0-42-generic amd64

除了我的单元测试完全是 groovy/spock 之外，我没有做任何 groovy 并且我正在使用 gradle 作为我的构建引擎。

按照我找到的指示，我继续将我的 gradle-wrapper.properties 文件更改为

distributionUrl=https\://services.gradle.org/distributions/gradle-6.6-bin.zip

它是 6.5-bin。

这个项目在我使用 Java 8 的旧计算机上运行良好。我将它移到了我的新工作站并尝试移到 open JDK 14，这就是新问题开始的时候。

想知道从这里去哪里。

【参考方案1】：

来自https://github.com/gradle/gradle/issues/10248

似乎 GROOVY-9211 不会被向后移植到 2.5.x。因此，Gradle 似乎需要升级到 Groovy 3.x 才能支持 JDK 14。

在 Gradle 使用 Groovy 3.x 之前，您需要使用 JDK 13。

【讨论】：

我想这让我很困惑，因为我没有意识到 gradle 使用的 groovy 版本比可用版本要旧得多。切换到 jdk 13 解决了我的问题。感谢您的输入。我编辑了您的答案，以便在将来提供更多指导。

【参考方案2】：

我在使用 maven 3.2 时遇到了同样的问题。和 JDK 1.8。升级到 JDK 11 解决了它。