检查hdfs文件块占用情况

Posted 2020-12-12 liwutao

 

批量执行检查脚本：

#!/bin/bash
file_name="$1"
if [ -z "$file_name" ];then
	echo "Pls input file path"
	exit 1
fi

cat "$file_name"| while read line
do
	hadoop fsck $line -blocks > temp.log
	echo $line >> final.log
	tail -11 temp.log >> final.log
	echo "">temp.log
	echo "Finish check $line"
done

　　

传入参数为文件名，将该文件和脚本放在同一目录下，该文件中每行记录一个hdfs中的文件全路径

如： /user/test/liwt/sic/studentTable

获取hdfs中文件列表的方式很多，在此不做赘述。