HBase常见运维工具整理
Posted 大数据开放实验室
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了HBase常见运维工具整理相关的知识，希望对你有一定的参考价值。
HBase自带许多运维工具，为用户提供管理、分析、修复和调试功能，这些工具一部分的入口是hbase shell 客户端，另一部分是在hbase的Jar包中。
大多数可通过执行以下形式的命令实现：
hbase [<options>] <command> [<args>] |
本文将列举一些常用HBase工具，开发人员和运维人员可以参考本文内容，利用这些工具对HBase进行日常管理和运维。
Canary
HBase Canary 是检测HBase 系统状态的工具，检测粒度可以是列族、Region或RegionServer等。Canary 会对指定表的每一个Region 抓取一行，通过探测失败或者延迟来判断集群当前情况。
该工具有三个常见使用场景：
检查集群中所有Region是否可查：
sudo -u hbase hbase org.apache.hadoop.hbase.tool.Canary
sudo -u hbase hbase org.apache.hadoop.hbase.tool.Canary -t 60000-t <N> ：该选项用于指定检测超时，默认为600000 (milisecs)
检查集群中某些特定表的所有Region是否可查：
sudo -u hbase hbase org.apache.hadoop.hbase.tool.Canary table_name1 table_name2 ...
sudo -u hbase hbase org.apache.hadoop.hbase.tool.Canary -t 60000 table_name1 table_name2 ...检查RegionServer的服务状态：
sudo -u hbase hbase org.apache.hadoop.hbase.tool.Canary -regionserver
sudo -u hbase hbase org.apache.hadoop.hbase.tool.Canary -t 60000 -regionserver
hbck工具
hbck工具用于检查HBase集群一致性。命令为：
sudo -u hbase hbase hbck |
这条命令输出的末尾，会打印出 OK 或者 INCONSISTENCY 信息。若返回OK，说明保持一致。如果报出INCONSISTENCY ，说明处于不一致状态，需要解决问题，此时可通过 -details 来查看更多细节。
注意，当出现INCONSISTENCY 时，可以重复执行 hbck 工具若干次以确认。因为INCONSISTENCY 可能只是暂时的，例如集群正在启动或者某个Region正在被拆分时会报INCONSISTENCY ，但不意味着稳定时也不一致。
HFile查看工具
当需要查看HFile内容的文本化版本时，可以使用 org.apache.hadoop.hbase.io.hfile.HFile 工具实现，执行语句如下：
$ ${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.io.hfile.HFile |
例如，查看文件 hdfs://10.81.47.41:8020/hbase/TEST/1418428042/DSMP/4759508618286845475 中的内容，可敲入以下命令：
sudo -u hbase hbase org.apache.hadoop.hbase.io.hfile.HFile -v -f hdfs://10.81.47.41:8020/hbase/TEST/1418428042/DSMP/4759508618286845475 |
选项-v表示查看详细内容，如果去掉则只返回简化过的摘要内容。
CopyTable
CopyTable 可以用来拷贝部分或者全部的表的内容，无论表是在同一集群或是不同集群。待操作的表必须存在，才能执行 CopyTable 操作。用法如下：
sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.CopyTable --help /bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTable --help Usage: CopyTable [general options] [--starttime=X] [--endtime=Y] [--new.name=NEW] [--peer.adr=ADR] <tablename> |
其中<tablename>表示待拷贝的表的名称。
例如我们可以将 TestTable 拷贝到某个集群，该集群是1小时时间窗口区间段的备份：
hbase org.apache.hadoop.hbase.mapreduce.CopyTable -Dhbase.client.scanner.caching=100 -Dmapred.map.tasks.speculative.execution=false --startrow=rk1 --stoprow=rk4 --starttime=1265875194289 --endtime=1265878794289 --peer.adr=transwarp-perf1,transwarp-perf2,transwarp-perf3:2181:/hyperbase1 --new.name=TestTableNew --families=cf1:cf2 TestTable |
该命令中各选项的含义如下：
startrow：起始行；
stoprow：结束行；
starttime：起始时间（毫秒级unixtime），如果没有设定结束时间意味着永远执行；
endtime：结束时间，若没有明确指定起始时间，可忽略该选项；
new.name：新的表名；
【hbase.zookeeper.quorum:hbase.zookeeper.client.port:zookeeper.znode.parent;】
families：需拷贝的列族列表，如有多个用逗号分隔。此处cf1:cf2表示从cf1拷贝到cf2。
Export
Export 用来将表中的内容转储到HDFS上面的序列文件，可指定时间戳(timestamp)，命令如下：
sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <outputdir> [<versions> [<starttime> [<endtime>]]] |
例如，如下命令用export指定时间戳(timestamp)导出表member5，到集群master24的HDFS：
hbase org.apache.Hadoop.hbase.mapreduce.Export member5 hdfs://master24:9000/user/hadoop/dump2 1 1401938590466 1401938590467 |
Import
Import 工具用来将之前被 Export 的数据载入HBase中。命令如下：
sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.Import <tablename> <inputdir> |
例如，用import将集群master24的HDFS中的表member5导入至HBase，实现命令如下：
sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.Import member5 hdfs://master24:9000/user/hadoop/dump2 |
ImportTsv
ImportTsv 工具的作用是把数据以TSV格式载入到HBase中。
它有以下两个典型的用途：
通过 Puts 操作将数据从HDFS中的TSV格式载入到HBase中。
sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=a,b,c <tablename> <hdfs-inputdir> |
第二种用途是和completebulkload 配合使用，为要载入的StoreFiles做准备。
sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=a,b,c -Dimporttsv.bulk.output=<outputdir> <tablename> <hdfs-data-inputdir> |
其中各选项的含义如下：
Dimporttsv.columns：指定原数据对应映射到HBase中的哪些列。如果该列包括的是行键，那么则用 HBASE_ROW_KEY 来表示该列的列名。
Dimporttsv.bulk.output：指定HFiles的存放目录；若不指定该项，数据会直接存放在HBase对应的表中。
CompleteBulkload
completebulkload 工具会将产生的StoreFiles移动到HBase表中。这个工具通常与 ImportTsv 的输出配合使用。
sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles <hdfs://storefileoutput> <tablename> |
<hdfs://storefileoutput>通常表示经过ImportTsv 载入到HDFS上的StoreFiles的路径。
RowCounter和CellCounter
RowCounter 是用来计算表行数的MapReduce工程。通常，当用户对元数据的一致性有疑问时，RowCounter 可以作为一个比较实用的工具来全面检查HBase是否读取了表的所有block。它可以通过 --starttime=[starttime] 和 --endtime=[endtime] 标签来限定数据的时间范围。
sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.RowCounter <tablename> [<column1> <column2>...] |
HBase还有另一个具有诊断作用的MapReduce工程，叫做 CellCounter 。它和 RowCounter 类似，但会收集和表相关的更细节的统计数据，包括：表的行数、所有行的列族数、所有行的qualifier数、每个列族出现的次数、每个qualifier出现的次数、每个qualifier的版本总数。
该工具也可以通过 --starttime=[starttime] 和 --endtime=[endtime] 来限定扫描表的时间范围，还可以用行的正则表达式或前缀来限定待分析的行。
sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.CellCounter <tablename> <outputDir> [regex or prefix] |
hbase clean 工具
hbase clean 命令是用于清除ZooKeeper或HDFS上的HBase相关数据的工具。它适合用于测试或者铲除HBase集群时对ZooKeeper或HDFS的清理。
sudo -u hbase hbase clean (--cleanZk|--cleanHdfs|--cleanAll) |
cleanZk：清除Zookeeper上的HBase数据。
cleanHdfs：清除HDFS上的HBase数据。
cleanAll：清除Zookeeper和HDFS上的HBase数据。
更多工具
本文介绍的都是HBase自带的常用运维工具，多用于状态检查和数据迁移。除此之外，还有一些HBase工具实现了更高级易用的功能，例如分布式存储运维工具DSTools，用于修复常见异常情况；Bulkload工具，用于批量的向HBase导入大量数据；以及雅虎开源的通用的更灵活的性能测试工具ycsb等。之后我们还会对这些更多的工具进行整理，与大家一起分享。
往期原创文章
大数据开放实验室由星环信息科技（上海）有限公司运营，专门致力于大数据技术的研究和传播。若转载请在文章开头明显注明“文章来源于微信订阅号——大数据开放实验室”，并保留作者和账号介绍。
以上是关于HBase常见运维工具整理的主要内容，如果未能解决你的问题，请参考以下文章