HDFS的配额

Posted jasonpeng1

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS的配额相关的知识,希望对你有一定的参考价值。

1.名称配额

(*)Hadoop分布式文件系统( HDFS )允许管理员为使用的名字(name)数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行,但两种类型配额的管理和实施密切平行。

名称配额是对以该目录为根的树中文件和目录名称数量的硬限制。如果超过配额,创建文件和目录将会失败。配额与重命名的目录保持一致;如果重命名操作将导致配额冲突,则重命名操作将失败。即使目录违反新配额,设置配额的尝试仍将成功。新创建的目录没有关联的配额。最大的配额是 Long.Max_Value。配额为1会强制目录保持为空。(目录将根据其自身的配额进行计数,目录本身占用1个配额) )

配额随着fsimage一起持久化。启动时,如果fsimage立即违反配额(可能是秘密修改了fsimage ),则会为每个此类违规打印警告。设置或删除配额将创建日志记录。
实际个数:N-1
[-setQuota <quota > <dirname >... <dirname >]
[-clrQuota <dirname >... <dirname >]

hdfs dfs -mkdir /quota1
设置该目录的名称配额:3
hdfs dfsadmin -setQuota 3 /quota1

当我们放第三个文件的时候
hdfs dfs -put data.txt /quota1
put: The NameSpace quota (directories and files) of directory /quota1 is exceeded: quota=3 file count=4

技术图片

 

 

2.空间配额

空间配额是对根位于该目录的树中的文件使用的字节数的硬限制。如果配额不允许写入完整块,则块分配就会失败。块的每个副本都将根据配额进行计数。配额与重命名的目录保持一致,重命名文件夹后配额还是起作用;如果重命名操作将导致配额冲突,则重命名操作将失败。新创建的目录没有关联的配额。最大的配额上限是 Long.Max_Value。配额为零仍然允许创建文件,但不能向文件中添加任何块。目录不使用主机文件系统空间,也不计入空间配额。用于保存文件元数据的主机文件系统空间不计入配额。配额按文件的预期副本因子计数;更改文件的副本因子将计入或扣除配额。

配额随着fsimage一起持久化。启动时,如果fsimage立即违反配额(可能是秘密修改了fsimage ),则会为每个此类违规打印警告。设置或删除配额将创建日志记录。

[-setSpaceQuota <quota > [-storageType <storagetype >] <dirname >... <dirname >]
[-clrSpaceQuota [-storageType <storagetype >] <dirname >... <dirname >]

dfs -mkdir /quota2
设置该目录的空间配额是:10M
hdfs dfsadmin -setSpaceQuota 10M /quota2

正确的做法:hdfs dfsadmin -setSpaceQuota 130M /quota2

放一个小于10M的文件,会出错
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.DSQuotaExceededException): The DiskSpace quota of /quota2 is exceeded: quota = 10485760 B = 10 MB but diskspace consumed = 134217728 B = 128 MB

注意:尽管数据不到128M,但是占用的数据块依然是128M
切记:当设置空间配额的时候,这个值不能小于128M

以上是关于HDFS的配额的主要内容,如果未能解决你的问题,请参考以下文章

HDFS配额指南

HDFS——配额

hdfs配额查询

HDFS配额查询

HDFS 配额(Quotas)指南 -- Apache Hadoop 2.9.0

如何使用Java API访问HDFS为目录设置配额