Hive表的分区与分桶

Posted 2020-06-12

1.Hive分区表

Hive使用select语句进行查询的时候一般会扫描整个表内容，会消耗很多时间做没必要的工作。Hive可以在创建表的时候指定分区空间，这样在做查询的时候就可以很好的提高查询的效率。

 

创建分区表的语法：

 

[java] view plain copy

 

1. create table tablename(  
2.        name string  
3. )partitioned by(key,type...);  

示例

 

 

[java] view plain copy

 

1. drop table if exists employees;  
2. create table  if not exists employees(  
3.        name string,  
4.        salary float,  
5.        subordinate array<string>,  
6.        deductions map<string,float>,  
7.        address struct<street:string,city:string,num:int>  
8. ) partitioned by (date_time string,type string)  
9. row format delimited fields terminated by ‘\t‘  
10. collection items terminated by ‘,‘  
11. map keys terminated by ‘:‘  
12. lines terminated by ‘\n‘  
13. stored as textfile  
14. location ‘/hive/inner‘;  

附：上述语句表示在建表时划分了date_time和type两个分区也叫双分区，一个分区的话就叫单分区，上述语句执行完以后我们查看表的结果会发现多了分区的两个字段。

 

 

[java] view plain copy

 

1. desc employees;  

结果如下：

 

注：在文件系统中的表现为date_time为一个文件夹，type为date_time的子文件夹。

 

 

向分区表中插入数据(要指定分区)

 

[java] view plain copy

 

1. hive> load data local inpath ‘/usr/local/src/employee_data‘ into table employees partition(date_time=‘2015-01_24‘,type=‘userInfo‘);  
2. Copying data from file:/usr/local/src/employee_data  
3. Copying file: file:/usr/local/src/employee_data  
4. Loading data to table default.employees partition (date_time=2015-01_24, type=userInfo)  
5. OK  
6. Time taken: 0.22 seconds  
7. hive>   

数据插入后在文件系统中显示为：

 

注：从上图中我们就可以发现type分区是作为子文件夹的形式存在的。

 

添加分区：

 

[java] view plain copy

 

1. alter table employees add if not exists partition(date_time=‘2088-08-18‘,type=‘liaozhongmin‘);  

注：我们可以先添加分区，再向对应的分区中添加数据。

 

查看分区：

 

[java] view plain copy

 

1. show partitions employees;  

附：employees在这里表示表名。

 

删除不想要的分区

 

[java] view plain copy

 

1. alter table employees drop if exists partition(date_time=‘2015-01_24‘,type=‘userInfo‘);  

再次查看分区：

 

 

2.Hive桶表

对于每一个表或者是分区，Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive是针对某一列进行分桶。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶中。分桶的好处是可以获得更高的查询处理效率。使取样更高效。

示例：

 

[java] view plain copy

 

1. create table bucketed_user(  
2.   id int,  
3.   name string  
4. )  
5. clustered by(id) sorted by(name) into 4 buckets  
6. row format delimited fields terminated by ‘\t‘  
7. stored as textfile;  

我们使用用户id来确定如何划分桶(Hive使用对值进行哈希并将结果除于桶的个数取余数的方式进行分桶)

 

另外一个要注意的问题是使用桶表的时候我们要开启桶表：

 

[java] view plain copy

 

1. set hive.enforce.bucketing = true;  

现在我们将表employees中name和salary查询出来再插入到这张表中：

 

 

[java] view plain copy

 

1. insert overwrite table bucketed_user select salary,name from employees;  

我们通过查询语句可以查看插进来的数据：

 

数据在文件中的表现形式如下，分成了四个桶：

当从桶表中进行查询时，hive会根据分桶的字段进行计算分析出数据存放的桶中，然后直接到对应的桶中去取数据，这样做就很好的提高了效率。