Hadoop中的名称节点崩溃
Posted
技术标签:
【中文标题】Hadoop中的名称节点崩溃【英文标题】:Name node crash in Hadoop 【发布时间】:2015-03-09 04:34:19 【问题描述】:如果名称节点崩溃,我们是否必须停止所有数据处理然后手动启动它(以防我们没有辅助名称节点),或者如果我们使用 Cloudera 最新版本。如果它崩溃了,那么它会自动命名一个辅助名称节点,在这个崩溃期间数据处理是否随时停止?(这里我们已经有一个辅助名称节点
【问题讨论】:
【参考方案1】:根据您的描述,namenode HA(高可用性)似乎是您所追求的设置:
HDFS 高可用性功能通过提供在具有热备用的主动/被动配置中在同一集群中运行两个冗余 NameNode 的选项来解决上述问题。这允许在机器崩溃的情况下快速故障转移到新的 NameNode,或出于计划维护的目的而由管理员发起的优雅故障转移。
在 Hadoop 文档中查看更多详细信息:HDFS High Availability Using the Quorum Journal Manager
【讨论】:
以上是关于Hadoop中的名称节点崩溃的主要内容,如果未能解决你的问题,请参考以下文章
我们如何仅从hdfs联合中的一个名称空间中排除某些数据节点?
如何在 Hadoop 中的 Datanodes/Slavodes 之间分配数据?