Hive - 分区查询不返回任何内容

Posted 2023-04-18

【中文标题】Hive - 分区查询不返回任何内容

【英文标题】：Hive - Queries on Partitions return nothing

【发布时间】：2012-11-02 19:01:56

【问题描述】：

我有一个按特定开始日期 (ds) 分区的表。我可以查询最新的分区（前一天的数据），它会很好地使用分区。

hive> select count(1) from vtc4 where ds='2012-11-01' ;
...garbage...
MapReduce Jobs Launched:
Job 0: Map: 1  Reduce: 1   Cumulative CPU: 6.43 sec   HDFS Read: 46281957 HDFS Write:  7 SUCCESS
Total MapReduce CPU Time Spent: 6 seconds 430 msec
OK
151225
Time taken: 35.007 seconds

但是，当我尝试查询较早的分区时，hive 似乎可以正常读取分区，但没有返回任何结果。

hive> select count(1) from vtc4 where ds='2012-10-31' ;
...garbage...
MapReduce Jobs Launched:
Job 0: Map: 1  Reduce: 1   Cumulative CPU: 7.64 sec   HDFS Read: 37754168 HDFS Write: 2 SUCCESS
Total MapReduce CPU Time Spent: 7 seconds 640 msec
OK
0
Time taken: 29.07 seconds

但是，如果我告诉 hive 针对表本身内的日期字段运行查询，并且不使用分区，我会得到正确的结果。

hive> select count(1) from vtc4 where date_started >= "2012-10-31 00:00:00" and date_started < "2012-11-01 00:00:00" ;
...garbage...
MapReduce Jobs Launched:
Job 0: Map: 63  Reduce: 1   Cumulative CPU: 453.52 sec   HDFS Read: 16420276606 HDFS Write: 7 SUCCESS
Total MapReduce CPU Time Spent: 7 minutes 33 seconds 520 msec
OK
123201
Time taken: 265.874 seconds

我在这里缺少什么？我正在运行 hadoop 1.03 和 hive 0.9。我对 hive/hadoop 还很陌生，因此我们将不胜感激。

谢谢。

编辑 1： hive> 描述格式化的 vtc4 分区 (ds='2012-10-31');

Partition Value:        [2012-10-31 ]
Database:               default
Table:                  vtc4
CreateTime:             Wed Oct 31 12:02:24 PDT 2012
LastAccessTime:         UNKNOWN
Protect Mode:           None
Location:               hdfs://hadoop5.internal/user/hive/warehouse/vtc4/ds=2012-10-31
Partition Parameters:
    transient_lastDdlTime   1351875579

# Storage Information 
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
InputFormat:            org.apache.hadoop.mapred.TextInputFormat
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
Compressed:             No
Num Buckets:            -1
Bucket Columns:         []
Sort Columns:           []
Storage Desc Params:
serialization.format    1
Time taken: 0.191 seconds

分区文件夹存在，但是当我尝试在 hdfs://hadoop5.internal/user/hive/warehouse/vtc4/ds=2012-10-31 上执行 hadoop fs -ls 时，它说文件/目录确实不存在。如果我使用 Web 界面浏览到该目录，我可以进入文件夹，并查看 /part-m-000* 文件。如果我在 hdfs://hadoop5.internal/user/hive/warehouse/vtc4/ds=2012-11-01 上执行 fs -ls 它工作正常。

【问题讨论】：

当您执行describe formatted vtc4 partition (ds='2012-10-31') 时会发生什么？ hdfs 上的位置是什么，你在那里看到什么文件？

@Joe K 我用你要求的信息更新了帖子。

【参考方案1】：

看起来像是权限的事情，或者与 hive 或 namenode 的元数据有关的东西。这是我会尝试的：

将该分区中的数据复制到 hdfs 中的其他位置。您可能需要以 hive 或 hdfs 用户身份执行此操作，具体取决于您的权限设置方式。 alter table vtc4 drop partition (ds='2012-10-31'); alter table vtc4 add partition (ds='2012-10-31'); 将数据复制回 hdfs 上的该分区

【讨论】：

嗯，这行得通.....我想我需要返回并为所有分区执行此操作 - 我通过 sqoop 进行了一个导入过程，该过程分区并导入了一个 mysql 表，所以也许那里有些奇怪。

【参考方案2】：

hive 分区的另一件事是，在 hive 外部创建时（例如从 sparksql），它有时不会在元数据系统中注册。您也可以在对分区进行任何更改后尝试MSCK REPAIR TABLE xc_bonus;，以便正确反映。