hdfs safe原因

Posted 2023-04-28

参考技术A 目前来看，导致hdfs一直处于safemode模式最直接的原因是已成功复制的块的比例没有达到默认值，块的损坏也会造成一直处于安全模式。
1)文件系统中有损坏的文件，使用fsck命令来查看
hadoop fsck /

以上是查看hdfs的根目录下的所有文件健康状况，如果有损坏的文件，就会提示：
The filesystem under path '/' is CORRUPT(损坏)

接下来就是排错，查看究竟是哪个目录下有损坏文件，使用fsck遍历检查根目录下的每个子目录，查看时候有损坏文件，例如查看user目录：
hadoop fsck /user

找到损坏的文件，删除掉即可，最终在使用fsck检查hdfs文件系统已完好：
但是看到Missing replicas一栏中，有321个副本丢失了，比如某个文件的复制因子是3，结果只有2个，那么表示有1个副本丢失了，所有的文件丢失副本数之后就是Missing replicas。同样使用fsck遍历所有目录，查看究竟是那些文件的冗余数量不够。

HDFS 退出 安全safe模式

cat set_safemode_off.sh

#!/bin/bash

xcall "su - hdfs -c 'hdfs dfsadmin -safemode leave'"

su - hdfs -c 'hdfs dfsadmin -safemode leave'