hdfs高容错实现
Posted eason
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hdfs高容错实现相关的知识，希望对你有一定的参考价值。
hdfs高容错机制
总结以上链接内容
针对3种故障，分别对应多种措施
节点失败
- 若namenode真的故障，凉凉，在非高可用的版本下整个集群挂掉
- 若datanode故障，可通过每3秒的向namenode发送的心跳信号来检测是否正常工作，10分钟都没收到那么就视为挂掉了
网络故障
- 通信时任何一次消息发送都会等待确认帧ack，未收到则说明故障了
数据损坏
- 每次进行数据发送会伴随一个总的校验码，校验码随数据一起存储，可以用来鉴定数据，在下一次需要对该块数据进行工作时，会取出数据及校验码校验后向namenode汇报，对于有故障的块会综合分析进行还原
以上是关于hdfs高容错实现的主要内容，如果未能解决你的问题，请参考以下文章