统计hive-hdfs文件大小日常腾出磁盘

Posted 榛西

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了统计hive-hdfs文件大小日常腾出磁盘相关的知识,希望对你有一定的参考价值。

1	home目录下 klist -kt hdfs.keytab	
2	kinit -kt hdfs.keytab hdfs/p-nc1mutapp02.jemincare.com@NC1MUTAPP.JEMINCARE.COM	
3	hdfs dfs -du -h  /user/jmkx_data/hive_db/jmkx_data.db/ > ./a.txt	全量大小
4	hdfs dfs -du -s -h /user/jmkx_data/hive_db/jmkx_data.db/*/dt=2023-02-08 > ./b.txt	日增量大小
5	把文件导出放excel分列 按文件大小排序	

结果为

 

以上是关于统计hive-hdfs文件大小日常腾出磁盘的主要内容,如果未能解决你的问题,请参考以下文章

du和df统计的磁盘分区大小不一致

DBA日常管理之-查看日志

Linux日常使用技巧

du 与df 统计系统磁盘不一致原因与解决方法

统计hive库表在具体下所有分区大小

分析Hive表和分区的统计信息(Statistics)