Hive 更新分区与 MSCK 修复

Posted 2023-04-18

【中文标题】Hive 更新分区与 MSCK 修复

【英文标题】：Hive Update partition vs MSCK Repair

【发布时间】：2021-04-16 06:42:31

【问题描述】：

我有一张有数千个分区的表。我想将所有分区位置更改为 diff 集群。 例如： 对于表 test_table 和分区 day=2021041600 旧址：hdfs://cluster1/dir1/dir2/day=2021041600/\<files> 新位置：hdfs://cluster2/dir1/dir2/day=2021041600/\<files>

我可以使用 2 种方法来实现这一点。

我们可以获取所有分区的列表，并逐个更新每个分区的分区位置。 我们可以更改表的基本位置并对表运行 MSCK 修复命令。

我的问题是我们应该采取哪种方案更好？

【参考方案1】：

第一种方法可行。

第二种方法（MSCK修复）：

如果您更改表位置，MSCK REPAIR 将不起作用，因为分区已安装到表位置之外的旧位置。

使用新位置创建表 EXTERNAL、DROP、CREATE，运行 MSCK REPAIR：

alter table test_table  SET TBLPROPERTIES('EXTERNAL'='TRUE');  

drop table test_table;

create table test_table ... location 'hdfs://cluster2/dir1/dir2';

MSCK REPAIR TABLE test_table;