hdfs数据误删分析与恢复

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hdfs数据误删分析与恢复相关的知识,希望对你有一定的参考价值。

一、相关参数:

1、core-site.xml  文件修改以下配置项:

<property>
     <name>fs.trash.interval</name>
     <value>2880</value>
     <description>HDFS垃圾箱设置,可以恢复误删除,配置的值为分钟数,0为禁用</description>
</property>




2、hdfs-default.xml 文件注意以下配置项:

<property>          
      <name>dfs.ha.log-roll.period</name>
      <value>120</value>
      <description>EditLog 日志滚动频率,单位为秒,默认是两分钟</description>
</property>



二、分析过程

1、找到editlog日志所在目录

查看hdfs-site.xml文件,找到fs.namenode.name.dir配置项的值,如:file:/home/hadoop-2.6.0-cdh5.5.0/dfs/name

/home/hadoop-2.6.0-cdh5.5.0/dfs/name目录下的current文件里,就是editlog文件,如下图

技术分享

技术分享

2、使用命令查看edits_inprogress文件

 #hdfs oev -i edits_inprogress_0000000000000000023 -o edits_inprogress_0000000000000000023.xml

其中 -i 是输入文件名,-o是需要把解析的文件输出到该文件中

解析完成后,查看edits_inprogress_0000000000000000023.xml文件即可

3、打开文件分析

找到被删除的文件或文件夹,在edits_inprogress_0000000000000000023.xml文件中搜索相关项,如下所示:

<RECORD>
    <OPCODE>OP_RENAME_OLD</OPCODE>
    <DATA>
      <TXID>15</TXID>
      <LENGTH>0</LENGTH>
      <SRC>/dat</SRC>
      <DST>/user/root/.Trash/Current/dat</DST>
      <TIMESTAMP>1454315297010</TIMESTAMP>
      <RPC_CLIENTID>6832d4f9-4fa6-4dbb-89aa-ffaa26109078</RPC_CLIENTID>
      <RPC_CALLID>6</RPC_CALLID>
    </DATA>
  </RECORD>

可以看出,HDFS中 /dat 文件是在  1454315297  时间点被移入回收站的

4、恢复文件

执行以下命令:

 
#fs -mv   /user/root/.Trash/Current/dat    /dat


进行恢复


本文出自 “散人” 博客,请务必保留此出处http://zouqingyun.blog.51cto.com/782246/1750012

以上是关于hdfs数据误删分析与恢复的主要内容,如果未能解决你的问题,请参考以下文章

被误删的HDFS文件如何有效恢复

被误删的HDFS文件如何有效恢复

HDFS恢复误删操作的方法

HDFS文件误删怎么办,一招教你恢复回来,再也不用担心删库跑路了

手把手教你如何抢救 HBase 误删数据(附代码)

HDFS的快照原理和Hbase基于快照的表修复