Hadoop MapReduce 程序在 Eclipse 中运行良好，但在导出到 .jar 文件时运行良好

Posted 2023-04-18

【中文标题】Hadoop MapReduce 程序在 Eclipse 中运行良好，但在导出到 .jar 文件时运行良好

【英文标题】：Hadoop MapReduce program runs fine in Eclipse but not when exported to .jar file

【发布时间】：2014-09-04 15:35:33

【问题描述】：

在 Eclipse 中，我从三个目录添加外部库。 hadoop 中的 lib 目录，hbase 中的相同目录和我的 Eclipse 项目中的两个本地目录以及其他 jars。执行导出的 jar 文件时，我得到一个与 hbase 相关的 ClassNotFoundException。我确定这是我的外部库的问题。

我就是这样执行程序的：

hadoop jar /home/brunneis/Escritorio/mr.jar Principal -libjars /bigdata/hbase/lib/*.jar,/home/brunneis/workspace/MapReduce/lib/*.jar,/home/brunneis/workspaces/MapReduce/lib1.1.2/*.jar

在 hadoop-env.sh 文件中我还添加了这一行：

export HADOOP_CLASSPATH="/bigdata/hbase/lib/*.jar;/home/brunneis/workspace/MapReduce/lib/*.jar;/home/brunneis/workspace/MapReduce/lib1.1.2/*.jar"

这就是我得到的：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at Principal.main(Principal.java:27)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:160)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
... 6 more

非常感谢。

【参考方案1】：

当类在运行时不可见但在编译时出现时，会出现 NoClassDefFoundError。这可能与 JAR 文件有关，因为未包含所有必需的类文件。关于您的案例，下面的帖子可能会对您有所帮助。

HBase - java.lang.NoClassDefFoundError in java

从上面的链接粘贴答案。

它是 Hbase 客户端 Java 程序，你不应该用“hadoop”运行它。应该是标准的jar程序运行方式，比如：java -jar yourjar.jar

当你使用 ">jar -cvf TestHBase.jar -C TestHBase/ ." 时，它不保证在运行时可以找到jar依赖，这是你面对的。

在eclipse中，jar导出功能有“Runable”jar的选择。

所以建议你单独运行你的测试类，明确指出依赖的 jar。

【讨论】：

非常感谢，我会测试一下。