apache hadoop2.6 正常启动后jps下有几个进程？没有DateNode节点正常吗

Posted 2023-04-11

如题 ，我的只有
4050 Jps
3799 ResourceManager
3467 NameNode
3655 SecondaryNameNode
，并没有DateNode， TASKTracker和JoBtracker2.X后就没了， 那DateNode呢？

虽说没有这个服务，但是跑自己的MR函数的时候没什么问题，网页上打开hadoop自带的运行状态页面也能看到从节点正常运转着

参考技术A http://www.cnblogs.com/kingatnuaa/p/4592989.html
查看日志，DataNode没有启动肯定是配置有问题 参考技术B 请问你是配置的单节点伪分布式吗？如果不是的话，DataNode与NodeManager这两个守护进程应该在从节点上查看的追问

不是伪分布，一个Master,两个Slaver， Slaver上JPS有
2751 Jps
2625 NodeManager
2522 DataNode

追答

恩，那就对啦。

HDFS的守护进程

主节点：Namenode、SecondaryNamenode

从节点：Datanode


YARN的守护进程

主节点：ResourceManager

从节点：NodeManager

本回答被提问者采纳

Hadoop无法正确启动SecondaryNameNode

参考技术A 搭建Hadoop集群时，在安装并修改配置文件后，使用命令行start-dfs.sh启动Hadoop的HDFS文件系统。
然后在各节点输入jps查看集群的各节点进程，发现SecondaryNameNode没有正常启动。

查看操作日志，可发现错误报告如下：

后查看hadoop文件夹下的data和name文件夹里面的current/version，发现clusterID不一致.

错误原因：

多次错误初始化NameNode，导致namenode和datanode的namespaceID和clusterID不一致。

解决方法：

1、删除Hadoop文件夹.../tmp/dfs 里面的data和name文件夹

2、初始化NameNode：hdfs namenode -format

3、启动HDFS：start-dfs.sh

此时再输入jps，可看到所有进程都正常启动

总结:

有异常，可通过查看操作日志查找错误原因

初始化namenode之前，应先删除data和name文件夹。