从 HIVE 表加载到 HDFS 作为 AVRO 文件

Posted 2023-04-18

【中文标题】从 HIVE 表加载到 HDFS 作为 AVRO 文件

【英文标题】：Load from HIVE table into HDFS as AVRO file

【发布时间】：2014-07-15 11:00:49

【问题描述】：

我想从 HIVE 表中加载一个文件到 HDFS（作为 .avro 文件）。 目前，我可以将表作为文件从 HIVE 移动到 HDFS，但我无法指定目标文件的特定格式。有人可以帮我吗？？

【参考方案1】：

所以你的问题是真的

如何将 Hive 表转换为不同的存储格式？

创建一个与 avro 表具有相同字段和类型的新表，并更改输入格式。然后从旧表插入到新表中。

INSERT OVERWRITE TABLE newtable SELECT * FROM oldtable

【讨论】：

感谢您的意见。我的问题是如何将文件从 HIVE 表加载到 HDFS 中。 HDFS 中的目标文件应该是 avro 文件。根据您的输入，我只是在转换 HIVE 表的输入格式。

@Jomy : 如果使用 avro 存储创建表，则数据 存储在 HDFS 中，通常在 "/user/hive/warehouse//" 你可以把数据文件复制出来。