大数据之hive：hive分桶表

Posted 2021-09-18 浊酒南街

目录

• 一、回顾分区表
• 二、为什么分桶？
• 三、分桶表的使用
• • 1、创建一个带分桶定义的表（分桶表）
  • 2、加载数据：
  • 3、对分桶表的查询
• 分桶总结：
• 实例

一、回顾分区表

为什么有分区？
随着系统运行时间增长，表的数据量越来越大，而hive查询时通常是是全表扫描，这样将导致大量的不必要的数据扫描，从而大大减低查询效率。从而引进分区技术，使用分区技术，避免hive全表扫描，提升查询效率，可以查询时指定查询条件（分区字段=’’ 来实现)。
hive的分区本质是在表目录下面创建目录，但是该分区字段是一个伪列，不真实存在于数据中，一张表可以有一个或者多个分区，分区下面也可以有一个或者多个分区；
通过PARTIONED BY(col_name data_type)来实现分区，注意：hive的分区字段使用的是表外字段；

二、为什么分桶？

单个分区或者表中的数据量越来越大，当分区不能更细粒的划分数据时，所以会采用分桶技术将数据更细粒度的划分和管理。
实现手段：
[CLUSTERED BY (col_name, col_name, …)
[SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]
关键字：BUCKET
分桶的意义 ：
1、为了保存分桶查询结果的分桶结构（数据已经按照分桶字段进行了hash散列）
2、分桶表数据进行抽样和JOIN时可以提高MR程序效率

三、分桶表的使用

1、创建一个带分桶定义的表（分桶表）

--创建分桶表，指定分桶的字段，不指定数据的排序规则
create table if not exists buc1(
uid int,
uname string,
uage int
)
clustered by (uid) into 4 buckets
row format delimited
fields terminated by ','
;
--创建分桶表，指定分桶的字段，指定数据的排序规则
create table if not exists buc2(
uid int,
uname string,
uage int
)
clustered by (uid) 
sorted by (uid desc) into 4 buckets
row format delimited
fields terminated by ','
;

2、加载数据：

--第一种方式：直接load一个文档里面的数据到分桶表里面;
load data local inpath '/usr/local/hive/test/3.txt' into table buc1;
--第二种方式：使用insert into(overwrite)方式来加载，前提是先有 buc_temp（只是一般表），而且字段个数一致，并且buc_temp指定分桶字段
insert overwrite table buc1 select uid,uname,uage from buc_temp cluster by (uid);
--第三种方式：依然使用insert into(overwrite)方式来加载，只不过可以指定数据的排序规则（cluster by（与第二种方式相同）或distribute by () sort by()可以相同字段也可以不同字段，指定asc或desc）
insert overwrite table buc2 select uid,uname,uage from buc_temp cluster by (uid);
insert overwrite table buc3 select uid,uname,uage from buc_temp distribute by (uid) sort by (uid asc);
insert overwrite table buc3 select uid,uname,uage from buc_temp distribute by (uid) sort by (uid desc);
insert overwrite table buc3 select uid,uname,uage from buc_temp distribute by (uid) sort by (uage desc);

3、对分桶表的查询

--1、查询全部：
select * from buc2;
select * from buc2 tablesample(bucket 1 out of 1) 
--查询第几桶：
select * from buc3 tablesample(bucket 1 out of 4 on uid);                            //除4余0
select * from buc3 tablesample(bucket 1 out of 2 on uid);  

注：tablesample是抽样语句，语法：TABLESAMPLE(BUCKET x OUT OF y) 。
y必须是table总bucket数的倍数或者因子。hive根据y的大小，决定抽样的比例。例如，table总共分了4份，当y=2时，抽取(4/2=)2个bucket的数据，当y=8时，抽取(4/8=)1/2个bucket的数据。
x表示从哪个bucket开始抽取，如果需要取多个分区，以后的分区号为当前分区号加上y。例如，table总bucket数为4，tablesample(bucket 1 out of 2)，表示总共抽取（4/2=）2个bucket的数据，抽取第1(x)个和第3(x+y)个bucket的数据。
注意：x的值必须小于等于y的值

分桶总结：

1、定义：
clustered by (uid) – 指定分桶的字段
sorted by (uid desc) – 指定数据的排序规则，表示预期的数据就是以这里设置的字段以及排序规则来进行存储
2、导数据
cluster by (uid) – 指定getPartition以哪个字段来进行hash散列，并且排序字段也是指定的字段，默认以正序进行排序
distribute by(uid) – 指定getPartition以哪个字段来进行hash散列
sort by(uid asc) – 指定排序字段，以及排序规则
–更灵活的方式，这种数据获取方式可以分别指定getPartition的字段和sort的字段
cluster by (uid)与distribute by(uid) sort by (uid asc)结果是一样的

实例

举例说明一下：按照性别进行分区（1男2女），在分区中按照uid的奇偶进行分桶：

uid	uname	usex
1	铁拐李	1
2	张果老	1
3	汉钟离	1
4	韩湘子	1
5	吕洞宾	1
6	蓝采和	2
7	何仙姑	2
8	曹国舅	1

1、创建临时表：

create table if not exists baxian_temp(
uid int,
uname string,
usex int
)
row format delimited 
fields terminated by ' '
;

2、加载数据：

load data local inpath '/usr/local/hivedata/stu.dat' into table baxian_temp;

3、创建分区分桶表：

create table if not exists baxian(
uid int,
uname string
)
partitioned by (sex int)
clustered by (uid) into 2 buckets
row format delimited 
fields terminated by ' '
;
//insert into方式加载数据：
insert into table baxian partition(sex) select uid,uname,usex from baxian_temp cluster by (uid);

需求：
查询性别为女性的、并且学号为奇数的神仙：

select * from baxian tablesample(bucket 2 out of 2 on uid) where sex=2;

问题：目前没有取出要取出的结果
注意：
1、分区使用的是表外字段，分桶使用的是表内字段
2、分桶是更细粒度的划分、管理数据，更多用来做数据抽样、JOIN操作