hadoop上删除文件

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop上删除文件相关的知识,希望对你有一定的参考价值。

如何恢复hadoop中被删除的文件
  hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的,就是在删除hdfs文件时,被删除的文件被移动到了hdfs的.trash文件夹中,恢复时只需将该文件夹中文件拿出即可。具体操作如下:
  1
设置.trash文件夹
  如果需要恢复hdfs中文件,就需要设置.trash,hadoop的.trash默认是关闭的。具体设置如下:
  
  
fs.trash.interval
  
10080
  
  该配置项在core-site.xml中,fs.trash.interval代表删除的文件保留的时间,时间单位为分钟,默认为0代表不保存删除的文件。我们只需要设置该时间即可打开.trash。
  2
设置后删除文件会显示删除的文件被移动到了hdfs://192.168.1.100:9000/user/hadoop/.trash/current中,举例如下:
  14/10/20
16:48:24
info
fs.trashpolicydefault:
namenode
trash
configuration:
deletion
interval
=
10080
minutes,
emptier
interval
=
0
minutes.
  moved:
'hdfs://10.207.0.217:9000/test_out/mr-20141017111556'
to
trash
at:
hdfs://192.168.1.100:9000/user/hadoop/.trash/current
  3
恢复时只需要将.trash中文件移动到我们设置的目录即可,例如将.trash中test1文件移动到/test目录,
  bin/hadoop
fs
-mv
/user/hadoop/.trash/current/test1
/test
  4
彻底删除hdfs文件
  彻底删除hdfs文件即将.trash中文件彻底删除,这样才能是否被删除文件所占用的hdfs空间,第2步中的删除方式hdfs不会释放空间,只是将需要删除的文件移动到了垃圾箱。.trash其实只是hdfs中的一个目录,只要删除该文件夹中的文件即可彻底删除该文件,原理相当于删除了回收站中的文件,该文件即被彻底删除。该项一般很少用,一般hdfs空间不够用才会用到。删除.trash中文件举例如下:
  bin/hadoop
fs
-rm
-r
/user/hadoop/.trash/current/test1
参考技术A 命令:hadoop
fs
-rmr
/home/mm/lily2(要求是你把hadoop的bin加到PATH中,并开启hadoop)
rm
-rf
/home/mm/lily2(这是删除linux文件系统的文件夹)

以上是关于hadoop上删除文件的主要内容,如果未能解决你的问题,请参考以下文章

如何删除hadoop?

hadoop2.删除对hadoop3.有影响吗

如何恢复hadoop中被删除的文件

hadoop集群 动态添加或删除节点

从 Hadoop 中删除文件/文件夹

删除 Hadoop 文件系统 (hdfs) 中的文件