hadoop中的namenode和datanode都启动了，输入jps为啥只有一个4018Jps

Posted 2023-05-02

参考技术A 检查配置是否有错，，如果检查感觉无误的话直接查看错误日志，有针对的去修改。。追问

恩恩，谢谢你

本回答被提问者采纳 参考技术B 4018是jps命令的进程，就是说你全部启动失败

Hadoop--05---HDFS_03----NameNode 和2NN DataNode

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• NameNode 和SecondaryNameNode
• • 1. NN 和2NN 工作机制
  • • • 思考：NameNode 中的元数据是存储在哪里的？
    • 1）第一阶段：NameNode 启动
    • 2）第二阶段：Secondary NameNode 工作
  • 2. Fsimage 和Edits 解析
  • 3. CheckPoint 时间设置
• DataNode
• • 1. DataNode 工作机制
  • 2. 数据完整性
  • • 校验算法crc（32）
  • 3. 掉线时限参数设置

---

NameNode 和SecondaryNameNode

1. NN 和2NN 工作机制

思考：NameNode 中的元数据是存储在哪里的？

1）第一阶段：NameNode 启动

（1）第一次启动NameNode 格式化后，创建Fsimage 和Edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode 记录操作日志，更新滚动日志。
（4）NameNode 在内存中对元数据进行增删改。

2）第二阶段：Secondary NameNode 工作

（1）Secondary NameNode 询问NameNode 是否需要CheckPoint。直接带回NameNode
是否检查结果。
（2）Secondary NameNode 请求执行CheckPoint。
（3）NameNode 滚动正在写的Edits 日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode 加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint 到NameNode。
（8）NameNode 将fsimage.chkpoint 重新命名成fsimage。

2. Fsimage 和Edits 解析

3. CheckPoint 时间设置

DataNode

1. DataNode 工作机制

2. 数据完整性

校验算法crc（32）

3. 掉线时限参数设置