Hive分区表的导入与导出

Posted 2021-02-13 blackstring

 

最近在做一个小任务，将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作，在正式开始做之前，首先进行了一段时间的练习，下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏，希望各位网友能够指出。

第一篇：HDFS的上传与下载：https://www.cnblogs.com/BlackString/p/10552553.html

第二篇：Hive中数据的导入与导出：https://www.cnblogs.com/BlackString/p/10552806.html

第四篇：跨平台传输方案：https://www.cnblogs.com/BlackString/p/10553010.html

 

 

Hive分区表数据的上传与导出

1. 前言
? 经过前两篇的练习，我们练习了文件的上传与下载，以及Hive外部表数据的上传与导出。但是很多时候Hive的数据操作不仅仅是外部表，还有可能是对分区表的操作。接下来，就对分区表的数据操作进行练习。

 

2. 分区表的文件结构

　　1）创建一个分区表，分区字段为country：
　　　　hive> create table tt01(id int, name string) partitioned by(country string);

　　2）插入几条新数据：
　　　　hive> insert into tt01 partition(country=‘CN‘) values(1,‘LS‘);
　　　　hive> insert into tt01 partition(country=‘CN‘) values(2,‘ZS‘);
　　　　hive> insert into tt01 partition(country=‘US‘) values(3,‘Alice‘);
　　　　hive> insert into tt01 partition(country=‘UK‘) values(4,‘Tom‘);

　　3）到hive中查看表中的数据：
　　　　hive> select from tt01;
　　　　1 LS CN
　　　　2 ZS CN
　　　　3 Alice US
　　　　4 Tom UK

4）到HDFS中查看test02.db中，tt01文件夹下的文件：
　　　　[[email protected] aos_dic]# hadoop fs -ls /user/hive/warehouse/test02.db/tt01
　　　　drwxrwxrwt - root hive 0 2019-03-15 10:50 /user/hive/warehouse/test02.db/tt01/country=CN
　　　　drwxrwxrwt - root hive 0 2019-03-15 10:46 /user/hive/warehouse/test02.db/tt01/country=UK
　　　　drwxrwxrwt - root hive 0 2019-03-15 10:45 /user/hive/warehouse/test02.db/tt01/country=US

　　会发现Hive按照分区将数据分别存入了不同的文件夹下。
　　进入某一个分区，查看其中的数据：
　　　　[[email protected] aos_dic]# hadoop fs -ls /user/hive/warehouse/test02.db/tt01/country=CN
　　　　-rwxrwxrwt 3 root hive 5 2019-03-15 10:43 /user/hive/warehouse/test02.db/tt01/country=CN/000000_0
　　　　-rwxrwxrwt 3 root hive 5 2019-03-15 10:45 /user/hive/warehouse/test02.db/tt01/country=CN/000000_0_copy_1
　　其中发现两个文件，查看其中的内容，会发现每个文件中都存了一条数据。那么，是每条数据都生成一个文件吗？

 

5）向tt01中插入一条新的数据，分区为“CN”：

　　　　hive> insert into tt01 partition(country=‘CN‘) values(5,‘WW‘);
　　到tt01文件夹下，country=CN中查看文件，会发现多出了一个新文件，查看这个新文件，发现其中存储的正是我们新插入的数据：
　　　　[[email protected] aos_dic]# hadoop fs -cat /user/hive/warehouse/test02.db/tt01/country=CN/000000_0_copy_2
　　　　5WW

 

3. 创建一个外部分区表
　　接下来，尝试在test02库中建立一个新的外部外部表，并且为其指定分区。
　　如何建立一个外部分区表呢？
　　最初的想法是，按照文件的格式新建一个表，然后指定分区的名称和文件的位置，这样建立的表应该是包含了我所有的数据的。但是在尝试了多次以后发现，Hive并不能自动识别已经建立好的分区。

　　经过查询得知，Hive分区表如果要载入外部分区数据，有两种方式：

　　1）手动指定分区并载入数据，如：
　　　　hive> alter table tt02 add partition (birth=‘1997‘) location ‘/hive> msck repair table tt02;

　　2）修复分区信息，如：
　　　　hive> msck repair table tt02;
　　　　Partitions not in metastore: tt02:birth=1998 tt02:birth=1999
　　　　Repair: Added partition to metastore tt02:birth=1998
　　　　Repair: Added partition to metastore tt02:birth=1999

　　但是以上两种方式并不包含直接建立表载入分区。
　　因此，建立一个外部分区表的步骤是：
　　1）按照文件数据的格式建立字段，并指定分区字段：
　　　　hive> create external table tt02(id int,name string,gender string) partitioned by (birth string) row format delimited fields terminated by ‘ ‘ location ‘/user/hive/warehouse/test02.db/tt02‘;

　　2）新增分区，或 修复分区：
　　　　hive> alter table tt02 add partition (birth=‘1997‘) location ‘/‘
　　　　hive> msck repair table tt02;
　　　　Partitions not in metastore: tt02:birth=1998 tt02:birth=1999
　　　　Repair: Added partition to metastore tt02:birth=1998
　　　　Repair: Added partition to metastore tt02:birth=1999

　　3）查看数据：
　　　　hive> select from tt02;
　　　　1 LS m 1997
　　　　2 ZQ m 1997
　　　　3 LG f 1997
　　　　4 ST f 1997
　　　　5 SD m 1997
　　　　…… ……