类路径问题 - getJNIEnv失败

Posted 2021-04-11

我已经在我的Hadoop Sandbox / CentOS上成功编译了基于JNI的Apache libhdfs（C ++） - 没有编译错误或警告：

g++ test.cpp -o test -I/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.151.x86_64/include/ 
-I/usr/hdp/2.6.3.0-235/usr/include/ -I/usr/hdp/2.6.3.0-235/hadoop/bin 
-I/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/include/ 
-I/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/ 
-L/usr/hdp/2.6.3.0-235/hadoop/lib/ -L/usr/hdp/2.6.3.0-235/hadoop/lib/native 
-L/usr/hdp/2.6.3.0-235/hadoop/lib/ -L/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/ 
-L/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/server/ 
-lhdfs -pthread -ljvm

一旦我尝试运行代码，我会收到以下错误：

[root@sandbox-hdp ~]# ./test
Environment variable CLASSPATH not set!
getJNIEnv: getGlobalJNIEnv failed
Environment variable CLASSPATH not set!
getJNIEnv: getGlobalJNIEnv failed

如果我在终端中运行hadoop classpath，我会得到以下输出：

[root@sandbox-hdp ~]# hadoop classpath 
/usr/hdp/2.6.3.0-235/hadoop/conf:/usr/hdp/2.6.3.0-
235/hadoop/lib/:/usr/hdp/2.6.3.0-235/hadoop/.//:/usr/hdp/2.6.3.0-235/hadoop-
hdfs/./:/usr/hdp/2.6.3.0-235/hadoop-hdfs/lib/:/usr/hdp/2.6.3.0-235/hadoop-
hdfs/.//:/usr/hdp/2.6.3.0-235/hadoop-yarn/lib/:/usr/hdp/2.6.3.0-235/hadoop-
yarn/.//:/usr/hdp/2.6.3.0-235/hadoop-mapreduce/lib/:/usr/hdp/2.6.3.0-
235/hadoop-mapreduce/.//::jdbc-mysql.jar:mysql-connector-java-
5.1.17.jar:mysql-connector-java-5.1.37.jar:mysql-connector-
java.jar:/usr/hdp/2.6.3.0-235/tez/:/usr/hdp/2.6.3.0-
235/tez/lib/:/usr/hdp/2.6.3.0-235/tez/conf

在Apache libhdfs page上它说：

最常见的问题是在调用使用libhdfs的程序时未正确设置CLASSPATH。确保将其设置为运行Hadoop本身所需的所有Hadoop jar以及包含hdfs-site.xml的正确配置目录。使用通配符语法指定多个jar无效。运行hadoop classpath --glob或hadoop classpath --jar为部署生成正确的类路径可能很有用。有关此命令的更多信息，请参阅Hadoop命令参考。

但是，经过多次尝试和错误尝试后我无法继续操作，因此，我非常感谢能帮助我解决这个问题的任何帮助。

编辑：尝试以下内容：CLASSPATH = hadoop classpath ./test

...这给了我以下错误：libjvm.so：无法打开共享对象文件：没有这样的文件或目录

我尝试了以下内容：export LD_LIBRARY_PATH=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/server

......现在错误是：

[root@sandbox-hdp ~]# CLASSPATH=$CLASSPATH:`hadoop classpath` ./test
loadFileSystems error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)
hdfsBuilderConnect(forceNewInstance=0, nn=default, port=0, kerbTicketCachePath=(NULL), userName=(NULL)) error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)
hdfsOpenFile(/tmp/testfile.txt): constructNewObjectOfPath error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)

答案

也许以下内容对你有用：

CLASSPATH=$CLASSPATH:`hadoop classpath` ./test

或者只有这个：

CLASSPATH=`hadoop classpath` ./test

查看JAVA_HOME环境变量，也许它可能会改变使用的java库。

最后，像下面的脚本这样的包装器可能很有用：

#!/bin/bash
export CLASSPATH="AllTheJARs"
ARG0="$0"
EXEC_PATH="$( dirname "$ARG0" )"
"${EXEC_PATH}/test" $@