Hadoop平台搭建的常见错误及解决方法

Posted 2021-05-20 会编程的李较瘦

问题一

警告信息如下：

Java HotSpot™ 64-Bit Server VM warning: You have loaded library /usr/local/hadoop252/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to fix the stack guard now.
It’s highly recommended that you fix the library with 'execstack -c ', or link it with ‘-z noexecstack’.

译文：

Java HotSpot™ 64位服务器VM警告:您已经加载了库/usr/local/hadoop252/ ib/native/libhadoop。所以这可能•已禁用堆栈保护。VM现在将尝试修复堆栈保护强烈建议您使用“execstack-c ”修复库，或者使用“-z noexecstack”链接它。

解决方法：
在etc/hadoop/目录中的 hadoop-env.sh和yarn-env.sh 这两个文件中添加如下两行代码：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

问题二

 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决办法：
直接在log4j日志中去除告警信息。在//usr/local/hadoop-2.5.2/etc/hadoop/log4j.properties文件中添加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

问题三

Hadoop启动后没有Name Node或DataNode进程
解决方法：

1.将所有节点的tmp目录清空。
2.重新格式化namenode。

hadoop namenode -format

3.重新启动Hadoop集群