Hadoop中的名称节点崩溃

Posted

技术标签:

【中文标题】Hadoop中的名称节点崩溃【英文标题】:Name node crash in Hadoop 【发布时间】:2015-03-09 04:34:19 【问题描述】:

如果名称节点崩溃,我们是否必须停止所有数据处理然后手动启动它(以防我们没有辅助名称节点),或者如果我们使用 Cloudera 最新版本。如果它崩溃了,那么它会自动命名一个辅助名称节点,在这个崩溃期间数据处理是否随时停止?(这里我们已经有一个辅助名称节点

【问题讨论】:

【参考方案1】:

根据您的描述,namenode HA(高可用性)似乎是您所追求的设置:

HDFS 高可用性功能通过提供在具有热备用的主动/被动配置中在同一集群中运行两个冗余 NameNode 的选项来解决上述问题。这允许在机器崩溃的情况下快速故障转移到新的 NameNode,或出于计划维护的目的而由管理员发起的优雅故障转移。

在 Hadoop 文档中查看更多详细信息:HDFS High Availability Using the Quorum Journal Manager

【讨论】:

以上是关于Hadoop中的名称节点崩溃的主要内容,如果未能解决你的问题,请参考以下文章

名称节点未启动

我们如何仅从hdfs联合中的一个名称空间中排除某些数据节点?

如何在 Hadoop 中的 Datanodes/Slavodes 之间分配数据?

Hadoop源码分析之NameNode的目录构成与类继承结构

Hadoop学习之路Hadoop集群搭建和简单应用

恢复 Hadoop NameNode 故障