如何查看 impala 表中的分区数

Posted

技术标签:

【中文标题】如何查看 impala 表中的分区数【英文标题】:How can I see the number of partitions in an impala table 【发布时间】:2021-09-14 06:00:15 【问题描述】:

是否可以在impala中查看一个表的分区总数?

例如db.table 有 40.500 个分区

【问题讨论】:

【参考方案1】:

使用SHOW PARTITIONS 声明。

SHOW PARTITIONS [database_name.]table_name

它将打印分区列表,您可以计算输出中的行数减去页眉(3 行)和页脚(1 行)。不幸的是,除了 Kudu 表之外,没有任何命令可以返回已经计算的分区数:SHOW TABLE STATS 打印 Kudu 表中的分区数。

当然可以执行select count(distinct part_col1, part_col2...) from table,但是效率不如SHOW分区

【讨论】:

以上是关于如何查看 impala 表中的分区数的主要内容,如果未能解决你的问题,请参考以下文章

Impala分区表

如何使用Impala合并小文件

spark 中如何查看单个RDD分区的内容(创建分区,查看分区数)

如何安装SAS并配置连接Hive/Impala

如何使用合并更改分区数?

使用字符串分区键与整数分区键的 Hive/Impala 性能