Hadoop平台搭建的常见错误及解决方法

Posted 2022-12-02 会编程的李较瘦

问题一

警告信息如下：

Java HotSpot™ 64-Bit Server VM warning: You have loaded library /usr/local/hadoop252/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to fix the stack guard now.
It’s highly recommended that you fix the library with 'execstack -c ', or link it with ‘-z noexecstack’.

译文：

Java HotSpot™ 64位服务器VM警告:您已经加载了库/usr/local/hadoop252/ ib/native/libhadoop。所以这可能•已禁用堆栈保护。VM现在将尝试修复堆栈保护强烈建议您使用“execstack-c ”修复库，或者使用“-z noexecstack”链接它。

解决方法：
在etc/hadoop/目录中的 hadoop-env.sh和yarn-env.sh 这两个文件中添加如下两行代码：

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

问题二

 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决办法：
直接在log4j日志中去除告警信息。在//usr/local/hadoop-2.5.2/etc/hadoop/log4j.properties文件中添加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

问题三

Hadoop启动后没有Name Node或DataNode进程
解决方法：

1.将所有节点的tmp目录和logs目录下的文件清空清空。

rm -rf *

2.重新格式化namenode。

hadoop namenode -format

3.重新启动Hadoop集群

问题四

hadoop平台启动后少进程


解决办法：
杀死对应占用的进程
如上图所示，须在master节点上：kill 7446
在slave2节点上：kill 7065
然后重新启动即可。

问题五

VMware虚拟机提示以独占方式锁定此配置文件失败的解决方法

1、按“win +R”组合键，进入“运行”。

2、写入“msconfig”（不包括引号，可直接复制），按回车键。

3、进入“系统配置”，选中“服务”，勾选左下角“隐藏所有Microsoft服务”，再点击“全部禁用”，点击“应用”。

4、再打开“服务”边上的“启动”选项，打开“点击任务管理器”。

5、在列出的启动项上，找到VMware点击右键，选中“禁用”，禁止全部启动项。

6、关闭“任务管理器”，返回“系统配置”界面下点击“确定”，依据提示重启电脑。

7、电脑重启之后，再次按照上面流程启动所有服务，VMware就可以正常启动了；