HAWQ 表大小估计

Posted 2023-03-31

【中文标题】HAWQ 表大小估计

【英文标题】：HAWQ table size estimation

【发布时间】：2016-11-25 10:02:49

【问题描述】：

我对要加载到 HAWQ 中的表的存储大小计算/估计有疑问？

我在 HIVE 中有一个 30MB 的表，我正在尝试使用 PXF 将其加载到 HAWQ 中，例如： create table t2 tablespace data as select * from hcatalog.default.afs_trvn_mktscn_population;

HAWQ 中的表占用了 369MB 的存储空间？不管我有多少 HAWQ 段以及 HAWQ DFS.replica 因子或 HDFS 复制因子是多少？我的情况是，即使有 4 个 HAWQ 段或 1 个 HAWQ 段，加载后的表大小也为 369MB。

我可以理解最小块大小是128MB，所以即使30MB也会使用最小128MB，但是为什么> 300MB？

你能分享一些这方面的信息吗？

【参考方案1】：

您的 Hive 表可能存储为带有 Snappy 压缩的 ORC，而您的 HAWQ 表甚至没有被压缩。你应该在你的 HAWQ 表中使用它：

with (appendonly=true, orientation=parquet, compresstype=snappy)