Python 操作 HBase —— Trift Trift2 Happybase 安装使用

Posted 2021-02-15 jhc888007的笔记

Python无法直接访问HBase，必须通过Thrift。

HBase与Thrift之间又支持两种接口标准，两种标准互不兼容，功能也互不覆盖。

Thrift连接HBase还有超时自动断开的大坑。

• 安装Thrift依赖（Server端）

Centos: yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel openssl-devel

Ubuntu: apt-get install libboost-dev libboost-test-dev libboost-program-options-dev libboost-system-dev libboost-filesystem-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev

• 安装Boost（Server端）

可以尝试yum/apt-get安装libboost1.53（或其他版本），安装完尝试Thrift是否正常启动，如果无法安装或安装完版本不兼容则手动下载安装

wget http://sourceforge.net/projects/boost/files/boost/1.53.0/boost_1_53_0.tar.gz

tar xvf boost_1_53_0.tar.gz

cd boost_1_53_0

./bootstrap.sh

./b2 install

cp /usr/local/lib/libboost_unit_test_framework.a /usr/lib/

• 修改文件（安装Thrift报错：error: ‘uintptr_t’ was not declared）

vim /usr/local/include/boost/cstdint.hpp

第43行左右，将上面语句屏蔽，更新为下面语句
//#if defined(BOOST_HAS_STDINT_H) && (!defined(__GLIBC__) || defined(__GLIBC_HAVE_LONG_LONG))
#if defined(BOOST_HAS_STDINT_H) \\
    && (!defined(__GLIBC__) \\
    || defined(__GLIBC_HAVE_LONG_LONG) \\
    || (defined(__GLIBC__) && ((__GLIBC__ > 2) || ((__GLIBC__ == 2) \\
    && (__GLIBC_MINOR__ >= 17)))))

• 安装Thrift（Server端）

从http://thrift.apache.org/下载最新版本的Thrift

tar -xvf thrift-0.12.0.tar.gz

cd thrift-0.12.0

./configure --libdir=/usr/lib

make

make install

• 启动HBase-Thrift（Server端）

找到hbase-daemon.sh（如果是ambari安装则在/usr/hdp/版本号/hbase目录下面）

启动Thrift：hbase-daemon.sh start thrift

启动Thrift2：hbase-daemon.sh start thrift2

默认启动HBase与Thrift交互端口为9095，Thrift外部端口为9090

多个Thrift同时启动会端口冲突，可以通过--infoport 9096 -p 9091命令来指定内部和外部端口，同时还需要找到hbase-daemon.sh上层目录conf下面的hbase-site.xml，修改/新增hbase.thrift.info.port和hbase.regionserver.thrift.port配置，这个没有尝试过，不知道有没有其他坑

• 配置HBase-Thrift（调用Thrift报错：TTransportException）

TTransportException错误分两种情况

一种是一条结果都获取不了，这种情况一般是使用问题，比如用Thrift2的接口调用Thrift，或者混淆了bytes和str

另一种情况是可以正常使用，但过几分钟莫名其妙就断了，这种是由于HBase配置有bug

需要在hbase-site.xml加入以下两项（如果设定超时时间为一天），然后重启HBase和Thrift

<property>
         <name>hbase.thrift.server.socket.read.timeout</name>
         <value>86400000</value>
</property>

<property>
         <name>hbase.thrift.connection.max-idletime</name>
         <value>86400000</value>
</property>

• 安装Thrift/Thrift2环境（Client端）

pip install thrift

• 使用Thrift方式一：pip安装（Client端）

pip install hbase-thrift

安装包安装到python安装目录lib/hbase或lib/site-packages/hbase下面

from thrift import Thrift
from thrift.transport import TSocket, TTransport
from thrift.protocol import TBinaryProtocol

# 连接
tsocket = TSocket.TSocket("10.0.0.1", 9090)
tsocket.setTimeout(5000)
ttransport = TTransport.TBufferedTransport(tsocket)
protocol = TBinaryProtocol.TBinaryProtocol(ttransport)

from hbase import Hbase

# 客户端
client = Hbase.Client(protocol)
tsocket.open()

#关键字
tableName = bytes("namespace:table", encoding=\'utf8\')
rowkey = bytes("rowkey", encoding=\'utf8\')

# 获取所有表名
tableNames = client.getTableNames()
print(\'tableNames:\',tableNames)

# 获取列族
columnDescriptors = client.getColumnDescriptors(tableName)
print("columnName:",columnDescriptors)

# 获取行
row = client.getRow(tableName,rowkey)
print("row:",row)

使用hbase-thrift包的优点是包含的接口比较全面，比如获取所有tables、修改table属性等，缺点是读取方法很少，很多读取方法无法实现

• 使用Thrift方式二：源码编译安装（Client端）

如果hbase使用的是源码安装包安装的，可以找到Server端源码其中的hbase/thrift/Hbase.thrift

或者上http://svn.apache.org/viewvc/hbase/trunk/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift下载最新版本的Hbase.thrift

执行thrift -r --gen py Hbase.thrift

当前目录下生成gen-py

将gen-py/hbase中的内容覆盖到Client端python安装目录的lib/hbase或lib/site-packages/hbase下面

from thrift import Thrift
from thrift.transport import TSocket, TTransport
from thrift.protocol import TBinaryProtocol

# 连接
tsocket = TSocket.TSocket("10.0.0.1", 9090)
tsocket.setTimeout(5000)
ttransport = TTransport.TBufferedTransport(tsocket)
protocol = TBinaryProtocol.TBinaryProtocol(ttransport)

from hbase import Hbase

# 客户端
client = Hbase.Client(protocol)
tsocket.open()

#关键字
tableName = bytes("namespace:table", encoding=\'utf8\')
rowkey = bytes("rowkey", encoding=\'utf8\')

# 获取所有表名
tableNames = client.getTableNames()
print(\'tableNames:\',tableNames)

# 获取列族
columnDescriptors = client.getColumnDescriptors(tableName)
print("columnName:",columnDescriptors)

# 获取行
row = client.getRow(tableName,rowkey,attributes={})
print("row:",row)

最新官方的Hbase.thrift生成的包中包含了一些新接口新功能，如getRow()函数的attributes参数，但是实测并没有什么作用

• 使用Thrift方式三：Happybase（Client端）

pip install happybase

import happybase

connect = happybase.Connection(host="10.0.0.1", port=9090)
connect.open()
table = connect.table("namespace:table")
print(table.row(\'rowkey\', timestamp=1554277000000, include_timestamp=True))
connect.close()

happybase的优势是封装较好，使用方便

• 使用Thrift2（Client端）

如果需要对表中的内容进行更细致的操作，比如提取某个时间段之间的columns，使用Thrift无法实现，只能使用Thrift2

找到源码包中的hbase/thrift2/hbase.thrift或者下载http://svn.apache.org/viewvc/hbase/trunk/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift2/hbase.thrift

执行thrift -r --gen py Hbase.thrift

将gen-py/hbase中的内容拷贝到Client端python安装目录的lib/hbase或lib/site-packages/hbase2（为了区分thrift与thrift2，如果不用共存也可命名为hbase或其他名称）

from thrift import Thrift
from thrift.transport import TSocket, TTransport
from thrift.protocol import TBinaryProtocol

# 连接
tsocket = TSocket.TSocket("10.0.0.2", 9090)
tsocket.setTimeout(5000)
transport = TTransport.TBufferedTransport(tsocket)
protocol = TBinaryProtocol.TBinaryProtocol(transport)

import hbase2

# 客户端
client = hbase2.THBaseService.Client(protocol)
tsocket.open()

# 获取行
get = TGet()
get.row = bytes("rowkey", encoding=\'utf8\')
#get.timestamp = 1554278944040
get.timeRange = TTimeRange()
get.timeRange.minStamp = 1554277751530
get.timeRange.maxStamp = 1554277751550
result = client.get(bytes(\'namespace:table\', encoding=\'utf8\'), get)

 Thrift2的数据接口完善很多，可以实现一些Thrift无法实现的查询功能，但是不包含获取table列表之类的接口

 

 

 

参考文献：

https://www.cnblogs.com/zhang-ke/p/9008228.html

https://blog.csdn.net/caojinlei_91/article/details/82761157

https://blog.csdn.net/kelonsen/article/details/78477152

https://blog.51cto.com/13103353/2107257

https://blog.csdn.net/wwlhz/article/details/56012053

https://blog.csdn.net/qq_36330643/article/details/83106759

http://www.aiuxian.com/article/p-3104971.html