hbase表数据备份策略

Posted 2021-04-19 我是攻城师

Hbase的数据备份策略有：

（1）Distcp

（2）CopyTable

（3）Export/Import

（4）Replication

（5）Snapshot

下面介绍这几种方式：

（一）Distcp（离线备份）

直接备份HDFS数据，备份前需要disable表，在备份完成之前 服务不可用对在线服务类业务不友好

（二）CopyTable（热备）

执行命令前，需要创建表，支持时间区间、row区间，改变表名称，改变列簇名称，指定是否copy删除数据等功能，例如：

三、Export/Import（热备+离线）

通过Export导出数据到目标集群的hdfs，再在目标集群执行import导入数据，Export支持指定开始时间和结束时间，因此可以做增量备份。

四，Replication（实时）

通过Hbase的replication机制实现Hbase集群的主从模式实时同步

五，Snapshot（备份实时，恢复需要disable）

个人觉得这里备份里面最经济划算的一个，可以每天在固定时间点对hbase表数据进行快照备份，然后如果出现问题了，可以直接恢复到某个时间点上的数据，适合修复指标计算错误的场景，然后从某个时间点上重新修复。

下面详细说下使用方式：

（1）先建立一个测试表

 create 'test','cf'

（2）添加数据

> put 'test','a','cf:c1',1

> put 'test','a','cf:c2',2

> put 'test','b','cf:c1',3

> put 'test','b','cf:c2',4

> put 'test','c','cf:c1',5

> put 'test','c','cf:c2',6

（3）创建快照

  hbase snapshot  create -n test_snapshot -t test

（4）查看快照

 list_snapshots

（5）导出到HDFS

 hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot test_snapshot -copy-to  hdfs://user/back/xxx

（6）从快照恢复数据到原表中

restore _snapshot 'test_snapshot'

（7）从快照中恢复到一个新表中

clone_snapshot 'test_snapshot','test_2'

以上几种策略就是所有的备份策略了，实际应用中需要具体情况选择其中的一种或几种，总体来说快照备份是一个性价比比较高的一种策略。时间短，体积小，恢复快，最终还可以恢复数据到一张新表中，不影响原来的表。