Hadoop 中的辅助名称节点
Posted
技术标签:
【中文标题】Hadoop 中的辅助名称节点【英文标题】：Secondary Name Node in Hadoop 【发布时间】：2020-01-14 04:37:18 【问题描述】：假设检查点的默认时间是 1 小时。 如果名称节点在距离上一个检查点 55 分钟后关闭。 我们丢失了最后 55 分钟的数据（编辑日志文件数据未添加到 fsImage 中）？
【问题讨论】：
【参考方案1】：取决于 dfs.namenode.checkpoint.txns 的 Checkpoint 节点配置参数
dfs.namenode.checkpoint.period：两个周期性检查点之间的秒数。 dfs.namenode.checkpoint.txns ：这将在每个 'dfs.namenode.checkpoint.txns' 事务中创建一个命名空间的检查点，无论 'dfs.namenode.checkpoint.period' 是否已过期。假设你有你的 dfs.namenode.checkpoint.period 每 1 小时和 dfs.namenode.checkpoint.txns 每 500 个交易，下一个检查点可以在一小时或每 500 笔交易
【讨论】：
以上是关于Hadoop 中的辅助名称节点的主要内容，如果未能解决你的问题，请参考以下文章