如何有效恢复误删的HDFS文件

Posted 2022-08-16 格格巫 MMQ!!

HDFS是大数据领域比较知名的分布式存储系统，作为大数据相关从业人员，每天处理HDFS上的文件数据是常规操作。这就容易带来一个问题，实际操作中对重要数据文件的误删，那么如何恢复这些文件，就显得尤为重要。

本文针对误删HDFS文件的问题，通过利用HDFS的内部机制，提供了以下几种方法：

1. 回收站机制恢复

HDFS提供了回收站功能，当我们执行hdfs dfs -rm -r some_file命令后，文件不会被立即删除。而是先将要删除的数据移动到当前用户的.Trash目录下，待超过一定时间（可通过参数配置）后才会真正执行删除的操作。

首先看个例子：

[root@bigdatalearnshare-3 ~]# hdfs dfs -rm -r /bigdatalearnshare/test/stats.json
20/07/24 16:42:35 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 360 minutes, Emptier interval = 0 minutes.
20/07/24 16:42:35 INFO fs.TrashPolicyDefault: Moved: ‘hdfs://bigdatalearnshare-1:9000/bigdatalearnshare/test/stats.json’ to trash at: hdfs://bigdatalearnshare-1:9000/user/root/.Trash/Current/bigdatalearnshare/test/stats.json
Moved: ‘hdfs://bigdatalearnshare-1:9000/bigdatalearnshare/test/stats.json’ to trash at: hdfs://bigd