我们可以在 Hive 表的分区内有分区吗?

Posted

技术标签:

【中文标题】我们可以在 Hive 表的分区内有分区吗?【英文标题】:Can we have partitions within partition in a Hive table? 【发布时间】:2013-07-24 05:51:52 【问题描述】:

我们可以在 Hive 表的分区内做分区吗?

我的意思是我们可以对分区表进行分区吗?还是分桶是 Hive 表中的唯一选项?

【问题讨论】:

【参考方案1】:

Hive 支持多级分区。但请记住,在 Hive 中拥有多个分区几乎从来都不是一个好主意。 HDFS 确实针对处理大文件进行了优化,大约 100MB 甚至更大。 Hive 表的每个分区都是一个 HDFS 目录。每个目录中通常有多个文件。您确实应该关闭 PB 的数据以在 Hive 表中进行多级分区。

你想解决什么问题?我相信我们可以找到一个合理的解决方案。

【讨论】:

以上是关于我们可以在 Hive 表的分区内有分区吗?的主要内容,如果未能解决你的问题,请参考以下文章

我们可以像在 Hive 中一样在 Big Query 中创建动态分区吗?

如何加载分区到 Hbase 表的 hive orc

Hive分区分桶

分区和分桶区别

Hive表的动态分区和静态分区

Hive中如何快速的复制一张分区表(包括数据)