hadoop安装完成jps怎么没有datanode

Posted 2023-03-23

当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存（即配置文件中dfs.data.dir在本地系统的路径）的current/VERSION文件只是你第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。 参考技术A 当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存（即配置文件中dfs.data.dir在本地系统的路径）的current/VERSION文件只是你第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。

hadoop集群slave节点jps后没有datanode解决方案

hadoop集群slave节点jps后没有datanode

这个问题是重复格式化造成的，重复格式化namenode造成datanode中的VERSION文件中clusterID与主节点的不一致。

1.关闭集群

stop-all.sh

2.找到安装hadoop的文件夹，我的是(/usr/local/hadoop)再找到里面的tmp/dfs/name/current,打开VERSION查看并复制clusterID的内容。

操作：在master里输入命令

cd /usr/local/hadoop/tmp/dfs/name/current
vim VERSION
:q

3.切换到slave节点，将/usr/local/hadoop/tmp/dfs/data/current里的VERSION文件中的clusterID替换成与master的VERSION文件中clusterID一致。

操作：在slave里输入命令

cd /usr/local/hadoop/tmp/dfs/data/current
vim VERSION

替换一致后：

4.重启集群：

start-all.sh