hive表分区的修复

Posted 胖子学习天地

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive表分区的修复相关的知识,希望对你有一定的参考价值。

hive从低版本升级到高版本或者做hadoop的集群数据迁移时,需要重新创建表和表分区,由于使用的是动态分区,所以需要重新刷新分区表字段,否则无法查看数据。

在hive中执行中以下命令即可自动更新元数据中的表分区:

 MSCK REPAIR TABLE 表名;

 后记:

今天同事在测试从其他集群移过来的数据时,发现使用count统计记录数时显示为0.

由于没有分区字段,即是用了msck也不行,后来解决的方法是:

使用load命令再重新加载一次,load的源路径和目标路径可以相同。

以上是关于hive表分区的修复的主要内容,如果未能解决你的问题,请参考以下文章

如果未添加新分区,则需要 hive 每日 msck 修复

Hive 更新分区与 MSCK 修复

hive创建分区 9870查询不到

hive外部表分区

使用msck修复hive分区时报错Unexpected partition key hour found at

Hive内部表、外部表、分区表、桶表概述