类路径问题-getjnienv失败

liwlm1x9  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(590)

我已经在hadoop沙盒/centos上成功编译了基于jni的apache libhdfs(c++)-没有编译错误或警告:

g++ test.cpp -o test -I/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.151.x86_64/include/ 
-I/usr/hdp/2.6.3.0-235/usr/include/ -I/usr/hdp/2.6.3.0-235/hadoop/bin 
-I/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/include/ 
-I/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/ 
-L/usr/hdp/2.6.3.0-235/hadoop/lib/ -L/usr/hdp/2.6.3.0-235/hadoop/lib/native 
-L/usr/hdp/2.6.3.0-235/hadoop/lib/ -L/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/ 
-L/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/server/ 
-lhdfs -pthread -ljvm

尝试运行代码后,出现以下错误:

[root@sandbox-hdp ~]# ./test
Environment variable CLASSPATH not set!
getJNIEnv: getGlobalJNIEnv failed
Environment variable CLASSPATH not set!
getJNIEnv: getGlobalJNIEnv failed

如果我跑了 hadoop classpath 在终端中,我得到以下输出:

[root@sandbox-hdp ~]# hadoop classpath 
/usr/hdp/2.6.3.0-235/hadoop/conf:/usr/hdp/2.6.3.0-
235/hadoop/lib/:/usr/hdp/2.6.3.0-235/hadoop/.//:/usr/hdp/2.6.3.0-235/hadoop-
hdfs/./:/usr/hdp/2.6.3.0-235/hadoop-hdfs/lib/:/usr/hdp/2.6.3.0-235/hadoop-
hdfs/.//:/usr/hdp/2.6.3.0-235/hadoop-yarn/lib/:/usr/hdp/2.6.3.0-235/hadoop-
yarn/.//:/usr/hdp/2.6.3.0-235/hadoop-mapreduce/lib/:/usr/hdp/2.6.3.0-
235/hadoop-mapreduce/.//::jdbc-mysql.jar:mysql-connector-java-
5.1.17.jar:mysql-connector-java-5.1.37.jar:mysql-connector-
java.jar:/usr/hdp/2.6.3.0-235/tez/:/usr/hdp/2.6.3.0-
235/tez/lib/:/usr/hdp/2.6.3.0-235/tez/conf

在apache libhdfs页面上显示:
最常见的问题是在调用使用libhdfs的程序时类路径设置不正确。确保将其设置为运行hadoop本身所需的所有hadoopjar以及包含hdfs-site.xml的正确配置目录。使用通配符语法指定多个jar是无效的。运行hadoop classpath--glob或hadoop classpath--jar为您的部署生成正确的类路径可能很有用。有关此命令的更多信息,请参阅hadoop命令参考。
然而,我不知道如何进行后,许多尝试和错误的尝试,我将因此感谢任何帮助,可以帮助我解决这个问题。
编辑:尝试了以下操作:classpath= hadoop classpath /测试
…这给了我以下错误:libjvm.so:无法打开共享对象文件:没有这样的文件或目录
我尝试了以下方法: export LD_LIBRARY_PATH=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/server …现在错误是:

[root@sandbox-hdp ~]# CLASSPATH=$CLASSPATH:`hadoop classpath` ./test
loadFileSystems error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)
hdfsBuilderConnect(forceNewInstance=0, nn=default, port=0, kerbTicketCachePath=(NULL), userName=(NULL)) error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)
hdfsOpenFile(/tmp/testfile.txt): constructNewObjectOfPath error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)
ki1q1bka

ki1q1bka1#

也许以下方法对你有用:

CLASSPATH=$CLASSPATH:`hadoop classpath` ./test

或仅此:

CLASSPATH=`hadoop classpath` ./test

退房 JAVA_HOME 环境变量,也许它也可以改变所使用的java库。
最后,像下面的脚本这样的 Package 器可能很有用:


# !/bin/bash

export CLASSPATH="AllTheJARs"
ARG0="$0"
EXEC_PATH="$( dirname "$ARG0" )"
"${EXEC_PATH}/test" $@

相关问题