Hadoop没有启动datanodes

Posted 2023-04-11

参考技术A 采用Hadoop自带的基准测试工具写入文件时，出现问题：

采用 $jps 命令查看，datanodes节点中只启动了“nodemanager"，并无“datanodes”进程。
搜索后大多博客说是“多次格式化namenode导致的namenode与datanode之间的不一致”。

于是删除之前的dfs.datanode.data.dir目录（我没有数据就哦），并重新修改了各节点 /hadoop-3.1.3/etc/hadoop/hdfs-site.xml 的相关数据路径：

重新格式化 hadoop namenode -format
然后再启动集群，还真解决了吖～

hadoop启动后没有datanode怎么办

根据日志中的路径，cd /home/hadoop/tmp/dfs，能看到 data和name两个文件夹。

方法一：
删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除，然后重新执行hadoop namenode -format进行格式化，重启集群，错误消失。

方法二：
将name/current下的VERSION中的clusterID复制到data/current下的VERSION中，覆盖掉原来的clusterID