Hadoop2.0 datanode启动不成功:All specified directories are failed to load

Posted 2023-05-01

参考技术A

日志文件存放路径: /usr/local/src/hadoop-2.6.1/logs

经查,master节点下 $HADOOP_HOME/dfs/data/ 内容为空;而slave1和slave2节点, $HADOOP_HOME/dfs/data/ 内容为空;分析是由于master节点和slave节点初始化数据不一致,才导致slave上的datanode启动失败.

方法1. 进入dfs/data/，修改VERSION文件即可，将nameNode里version文件夹里面的内容修改成和master一致的。( 由于我的master节点文件下目录为空,此方法不适用 )

方法2. 直接删除dfs/data，然后格式化集群,重新启动即可（./hadoop namenode -format).

我搭建Hadoop集群时，两个namenode节点都是Standby；而且datanode启动不成功，VERSION也没有namespaceID

[root@cloud1 current]# jps
2595 QuorumPeerMain
15857 NameNode
15297 ResourceManager
15411 NodeManager
15025 JournalNode
17750 Jps
[root@cloud1 current]#
3.2hadoop安装
3.2.1文件配置
由于我们使用yarn框架不在使用mapred-site.xml,所以完成配置hadoop-env.sh、core-site.xml 、hdfs-site.xml、yarn-site.xml、slaves并下发到个节点上。

配置文件路径：/home/hadoop/app/hadoop-2.3.0-cdh5.0.2/etc/hadoop
3.2.1.1hadoop-env.sh
在文件hadoop-env.sh后追加：

#add by wangjj in May8,2015
export JAVA_HOME=/usr/java/jdk1.7.0_71
export HADOOP_HOME=/home/hadoop/app/hadoop-2.3.0-cdh5.0.2
export HADOOP_PREFIX=/home/hadoop/app/hadoop-2.3.0-cdh5.0.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
(PATH 里面是：还是；？是：)确定

参考技术A 1、首先你要确定不用ha的时候你的hadoop集群是正常的，不然找错误的方向就偏离了
2、如果都正常，配置ha 需要zookeeper，先要看看是不是zookeeper没有配置好的问题
3、如果都正常，在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc，这句是启动zookeeper选举制度，然后执行bin/hdfs haadmin -transitionToActive nn2 其中nn2是你的namenode中的一个
4、你在hadoop-env.sh中是需要配置JAVA_HOME的，但是不需要配置其他，HADOOP_HOME和PATH是需要配置在/etc/profile中的本回答被提问者和网友采纳