Hive和Hbase结合

Posted 2021-02-03 xiaohu-feng

Hive版本是2.1.1，Hbase版本是1.4.3

1. Hbase表映射到Hive表中
1.1 Hive的配置文件修改

1.1.1 修改hive-site.xml配置文件，添加配置属性

<property>
<name>hbase.zookeeper.quorum</name>
<value>server01:2181,server02:2181,server03:2181</value>
</property>
1
2
3
4
5

1.1.2 修改hive-env.sh文件

# 添加一个环境变量
export HIVE_CLASSPATH=$HIVE_CLASSPATH:/hadoop/hbase/lib/*
1
2
1.2 Hbase数据创建

 

1.2.1 在hbase中创建表，表名为hbase_test，有三个列族，分别为f1,f2,f3

create ‘hbase_test‘,{NAME => ‘f1‘,VERSION => 1},{NAME => ‘f2‘,VERSION => 1},{NAME => ‘f3‘,VERSION => 1}
1

1.2.2 向hbase_test表中插入数据

put ‘hbase_test‘,‘001‘,‘f1:name‘,‘liubei‘
put ‘hbase_test‘,‘001‘,‘f2:age‘,‘30‘
put ‘hbase_test‘,‘001‘,‘f3:sex‘,‘male‘

put ‘hbase_test‘,‘002‘,‘f1:name‘,‘guanyu‘
put ‘hbase_test‘,‘002‘,‘f2:age‘,‘28‘
put ‘hbase_test‘,‘002‘,‘f3:sex‘,‘female‘

put ‘hbase_test‘,‘003‘,‘f1:name‘,‘zhangfei‘
put ‘hbase_test‘,‘003‘,‘f2:age‘,‘27‘
put ‘hbase_test‘,‘003‘,‘f3:sex‘,‘male‘
1
2
3
4
5
6
7
8
9
10
11
1.2.3 scan查询

scan ‘hbase_test‘
1

1.3 Hive创建数据库，关联Hbase

1.3.1 创建Hive表

# 这里使用的是外部表，即便是删除hive表，Hbase的数据也存在

CREATE EXTERNAL TABLE hiveFromHbase(
rowkey string,
f1 map<STRING,STRING>,
f2 map<STRING,STRING>,
f3 map<STRING,STRING>
) STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:,f2:,f3:")
TBLPROPERTIES ("hbase.table.name" = "hbase_test");
1
2
3
4
5
6
7
8
9
10
hbase.columns.mapping：Hive表和HBase表的字段映射关系。

分别为：Hive表中第一个字段映射:key(rowkey)，第二个字段映射列族f1，第三个字段映射列族f2,第四个字段映射列族f3

hbase.table.name：hbase表名称。

 

1.3.2 使用hive的HQL语句查询

select * from hivefromhbase;
1

1.3.3 Hive插入数据到Hbase表

insert into table hivefromhbase
select ‘004‘ as rowkey,
map(‘name‘,‘caocao‘) as f1,
map(‘age‘,‘34‘) as f2,
map(‘sex‘,‘male‘) as f3
from person;
1
2
3
4
5
6

1.3.4 Hbase中查询数据

scan ‘hbase_test‘
1

2. Hive表映射到Hbase中
2.1 在Hive中创建名称为hive_test的表

create table hive_test(
id string,
name string,
age int,
)STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:name,f2:age,f3:address")
TBLPROPERTIES ("hbase.table.name" = "hbasefromhive");
1
2
3
4
5
6
7

2.2 在Hbase中查看是否有hbasefromhive表生成

list
1

2.3 查看hbase的表结构

desc ‘hbasefromhive‘
1

2.4 将数据插入Hive的hive_test中

load data local inpath ‘/home/hadoop/student.txt‘ overwrite into table person;
1

2.5 查看Hive的hive_test表信息

select * from hive_test;
1

2.6 查看Hbase中的表信息

scan ‘hbasefromhive‘
1

---------------------
原文：https://blog.csdn.net/qq_33689414/article/details/80328665
版权声明：本文为博主原创文章，转载请附上博文链接！