Hadoop 2.7.3 WARN util.NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类

Posted 2023-04-18

【中文标题】Hadoop 2.7.3 WARN util.NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类

【英文标题】：Hadoop 2.7.3 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

【发布时间】：2017-03-24 03:52:09

【问题描述】：

我在 debian jessie 上安装 hadoop 时遇到问题，运行脚本 start-dfs.sh 时出现警告

hadoop@debian1:~$ /usr/local/hadoop/sbin/start-dfs.sh 17/03/24 10:40:00 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [localhost] localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-debian1.out localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-debian1.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-secondarynamenode-debian1.out 17/03/24 10:40:16 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

我在跑步

hadoop-2.7.3，debian jessie (8.7)，来自 repo debian 的默认 java

有人可以帮我解决警告吗？

【参考方案1】：

将下面的行添加到hadoop-env.sh，它将修复

export HADOOP_HOME_WARN_SUPPRESS=1
export HADOOP_ROOT_LOGGER="WARN,DRFA"

【讨论】：

Unable to load native-hadoop library for your platform.... Huumm 我认为禁止记录这将解决它！

显然这不是一种修复，它只是抑制警告

【参考方案2】：

我的解决方案是在 .bashrc 文件中添加这些行：

... others enviroment variables... 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_COMMON_LIB_NATIVE_DIR"

完成此操作后，您需要使用此命令进行刷新：

source ~/.bashrc

您可以使用这些步骤来提供本机库的路径，而不是省略编辑 hadoop-env.sh 的警告。