CM记录-HDFS清理垃圾回收站

Posted 信方互联网硬汉

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CM记录-HDFS清理垃圾回收站相关的知识,希望对你有一定的参考价值。

HDFS数据块所在存储的目录满了的解决方法

1.增加磁盘空间

2.删除回收站

hadoop dfs -du -h 查看各个HDFS空间占用情况

hadoop dfs  -expunge  清空回收站

hadoop dfs -rm -skipTrash  /user/path 删除目录跳过回收站

 fs.trash.interval 和 fs.trash.checkpoint.interval  

  dfs.replication.interval复制延迟时间为3秒,默认值。

  单机Hadoop修改/etc/hadoop/core-site.xml,增加如下配置:

  <!-- 开启hdfs文件删除自动转移到垃圾箱,值为垃圾箱文件清除时间,单位是分钟。一般开启该配置比较好,防止删除重要文件。 -->

<property>  
    <name>fs.trash.interval</name>  
    <value>1440</value>  
    <description>Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled.</description>  
</property>  
<property>  
    <name>fs.trash.checkpoint.interval</name>  
    <value>0</value>  
    <description>Number of minutes between trash checkpoints. Should be smaller or equal to fs.trash.interval. If zero, the value is set to the value of fs.trash.interval.</description>  
</property>  

属性介绍:

fs.trash.interval:丢进回收站中的文件多久后(准确的说是多少分钟后)会被系统永久删除;这里1440是1天,默认是0.单位分钟。这里我设置的是1天(60*24) 

fs.trash.checkpoint.interval:前后两次检查点的创建时间间隔(单位也是分钟);新的检查点被创建后,随之旧的检查点就会被系统永久删除;

 

以上是关于CM记录-HDFS清理垃圾回收站的主要内容,如果未能解决你的问题,请参考以下文章

HDFS的垃圾回收机制

HDFS之垃圾回收箱配置及使用

hdfs清理回收站命令(参考)

C# 垃圾回收机制(GC) 的概述 资源清理 内存管理

C# 垃圾回收机制(GC) 的概述 资源清理 内存管理

C# 垃圾回收机制(GC) 的概述 资源清理 内存管理