分区表和分桶表

Posted 2022-11-29 亿钱君

第 7 章 分区表和分桶表

• 1. 分区表(生产环境用的非常多)
• • 1.1 分区表基本操作
  • 1.2 二级分区
  • 1.3 动态分区调整
• 2. 分桶表（了解，有印象即可）
• 3. 抽样查询

1. 分区表(生产环境用的非常多)

1.1 分区表基本操作

1）创建分区表语法
注意：分区字段不能是表中已经存在的数据，可以将分区字段看作表的伪列。

2）加载数据到分区表中

注意：分区表加载数据时，必须指定分区
3）查询分区表中数据

4）增加分区

5）删除分区

6）查看分区表有多少分区

hive> show partitions dept_partition;

7）查看分区表结构

hive> desc formatted dept_par;

1.2 二级分区

思考: 如何一天的日志数据量也很大，如何再将数据拆分?

1）创建二级分区表
2）正常的加载数据

3）把数据直接上传到分区目录上，让分区表和数据产生关联的三种方式

• （1）方式一：上传数据后修复

• （2）方式二：上传数据后添加分区

• （3）方式三：创建文件夹后 load 数据到分区

1.3 动态分区调整

动态分区：将目标表中的数据按照表中某个字段进行分区，新分区的表中，最后一位字段是分区字段

注意：hive3 加的新功能

2. 分桶表（了解，有印象即可）

3. 抽样查询

与分桶表配合使用，不经常使用