使用 hive 生成​​ Parquet 文件

Posted 2023-04-13

【中文标题】使用 hive 生成​​ Parquet 文件

【英文标题】：Parquet Files Generation with hive

【发布时间】：2017-05-09 00:18:24

【问题描述】：

我正在尝试使用 hive 生成​​一些 parquet 文件，为此我从一些 .tbl 文件中加载了一个常规 hive 表，通过 hive 中的这个命令：

创建表区域 ( R_REGIONKEY BIGINT， R_NAME STRING， R_COMMENT STRING)

行格式分隔 以“|”结尾的字段 存储为文本文件 位置'/tmp/tpch-generate';

在此之后我只执行这 2 行：

create table parquet_reion LIKE region STORED AS PARQUET;

插入parquet_region select * from region;

但是当我检查在 HDFS 中生成的输出时，我没有找到任何 .parquet 文件，而是找到了像 0000_0 到 0000_21 这样的文件名，并且它们的大小总和比原始 tbl 文件大得多。

我做错了什么？

【参考方案1】：

Insert 语句不会创建带有扩展名的文件，但这些是 parquet 文件。

您可以使用DESCRIBE FORMATTED <table> 显示表格信息。

hive> DESCRIBE FORMATTED <table_name>

附加说明：您还可以使用以下查询从源表创建新表：

CREATE TABLE new_test row STORED AS PARQUET AS select * from source_table

它将以 parquet 格式创建新表并复制结构和数据。

【讨论】：

感谢您的回答。但是为什么生成的总和比原始文件大？实木复合地板的输出不应该更小吗？在我的情况下，原始 tbl 文件约为 230MB，生成的文件 0000_0 到 0000_21 每个有 98 mb，更大。

它不应该比原始文件大。您可能会在同一个表中插入多次。您能否再次检查重新创建表格。请删除它删除所有旧文件，然后重新创建它。

我删除了文件并删除了每个表甚至数据库，然后又做了一遍，但结果是一样的

你能发布ANALYZE TABLE tablename的输出吗？