hadoop datanode无法启动

Posted 2023-03-02 jqtree

问题:进行相关配置后,发现集群DataNode无法启动

解决步骤:

1. 查看日志文件,显示报错:
   

java.io.IOException: All specified directories have failed to load.

2. 错误原因:datanode和namenode的clusterID不同,导致无法启动datanode。通常是多次格式化导致的这个问题.
   注:找到datanode和namenode数据存储文件中current文件夹，查看VERSION文件，可以发现他们的clusterID不同(数据存储路径可在hdfs-site.xml文件中查看，以个人实际为准)。
   
   

3. 将datanode中clusterID替换为namenode中clusterID，注意所有主机都需要替换。

4. 替换成功后，即可正常启动datanode，亲测。

这只是解决方法之一，另外一个解决方法是，删除hadoop配置文件core-site.xml中指定的缓存数据路径文件夹，然后进行格式化操作,格式化之前请保留数据备份,谨防丢失。这个方法本人没有实践，感兴趣的读者可搜索相关文章尝试解决。
格式化命令:

hdfs namenode -format

格式化操作需谨慎,运行指令前请三思!