hadoop hdfs设置quota
Posted kisf
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop hdfs设置quota相关的知识,希望对你有一定的参考价值。
quota分为两种:
1. 目录下的文件数限制
2. 目录下的空间大小
//设置文件数 hdfs dfsadmin -setQuota 1000000 /user/jenkin //设置空间大小 hdfs dfsadmin -setSpaceQuota 100g /user/jenkin //查看quota hadoop fs -count -q /user/jenkin
[[email protected] ~]# hadoop fs -count -q /user/jenkin 1000000 999182 107374182400 100052379973 26 792 2440600809 /user/jenkin
列对应:
QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT
计算公式:
QUOTA – (DIR_COUNT + FILE_COUNT) = REMAINING_QUOTA
SPACE_QUOTA – CONTENT_SIZE = REMAINING_SPACE_QUOTA
space quota 的设定所看的不是上传的档案大小,是写入 HDFS 的所有 block size,假设一个档案要写入两个blocks,在core-site.xml设定dfs.block.size为64MB,dfs.replication为3,那所需空间:2*64MB*3=384MB
以上是关于hadoop hdfs设置quota的主要内容,如果未能解决你的问题,请参考以下文章