我们可以在 Hive 表的分区内有分区吗?
Posted
技术标签:
【中文标题】我们可以在 Hive 表的分区内有分区吗?【英文标题】:Can we have partitions within partition in a Hive table? 【发布时间】:2013-07-24 05:51:52 【问题描述】:我们可以在 Hive 表的分区内做分区吗?
我的意思是我们可以对分区表进行分区吗?还是分桶是 Hive 表中的唯一选项?
【问题讨论】:
【参考方案1】:Hive 支持多级分区。但请记住,在 Hive 中拥有多个分区几乎从来都不是一个好主意。 HDFS 确实针对处理大文件进行了优化,大约 100MB 甚至更大。 Hive 表的每个分区都是一个 HDFS 目录。每个目录中通常有多个文件。您确实应该关闭 PB 的数据以在 Hive 表中进行多级分区。
你想解决什么问题?我相信我们可以找到一个合理的解决方案。
【讨论】:
以上是关于我们可以在 Hive 表的分区内有分区吗?的主要内容,如果未能解决你的问题,请参考以下文章