HDFS问题汇总

Posted 2021-11-25 locker-c

1、datanode无法启动

问题描述：使用命令 hadoop-daemons.sh start datanode ，没有报错信息，但jps时没有启动datanode

解决方式：查看日志  logs/hadoop-centos-datanode*.log

可能出现的问题： 在集群多次重新格式化HDFS之后，或者刚安装时会碰到。日志信息如下：

　　                   java.io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data:

　　                   NameNode namespaceID = 1307672299; DataNode namespaceID = 389959598

　　　　　　　多次格式化导致ID不一致

解决办法：最直接有效的办法就是修改Datanode上的namenodeID(位于/dfs/data/current/VERSION文件中）或修改NameNode的namespaceID（位于/dfs/name/current/VERSION文件中），使其一致。

　　　　　　注 ：粗暴的方式是删除datanode的VERSION,不推荐，因为重启datanode时会删除datanode的数据