Hadoop Journal Node 作用

Posted 寒星12345678999

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop Journal Node 作用相关的知识,希望对你有一定的参考价值。

Hadoop Journal Node 作用

https://blog.csdn.net/weixin_34367845/article/details/91986737?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase

 

 

 

 两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了

 对于HA集群而言,确保同一时刻只有一个NameNode处于active状态是至关重要的。否则,两个NameNode的数据状态就会产生分歧,可能丢失数据,或者产生错误的结果。为了保证这点,JNs必须确保同一时刻只有一个NameNode可以向自己写数据。 

JN必须允许至少3个节点。当然可以运行更多,但是必须是奇数个,如3、5、7、9个等等。当运行N个节点时,系统可以容忍至少(N-1)/2(N至少为3)个节点失败而不影响正常运行。 

 

standby状态的NameNode可以完成checkpoint操作  https://my.oschina.net/u/3987818/blog/2245016

以上是关于Hadoop Journal Node 作用的主要内容,如果未能解决你的问题,请参考以下文章

如何删除 /hadoop/hdfs/journal/hdfsha/current/ 下的非常大的文件

HADOOP HA 踩坑 - org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storag

Namenode启动报错Operation category JOURNAL is not supported in state standby

Namenode主节点停止报错 Error: flush failed for required journal

Journal工作原理

Incompatible namespaceID for journal Storage Directory /home/hkx/journaldata/ns2: NameNode has nsId