Hive 插入覆盖表

Posted

技术标签:

【中文标题】Hive 插入覆盖表【英文标题】:Hive Insert Overwrite Table 【发布时间】:2014-11-27 21:10:21 【问题描述】:

我是 Hive 的新手,我想知道插入覆盖是否会覆盖我创建的现有表。 我想过滤一个已经创建的表,我们称之为TableA,只选择年龄大于18的行。我可以使用插入覆盖表来实现吗?

我正在考虑写这样的东西:

INSERT OVERWRITE TABLE TableA SELECT a.Age FROM TableA WHERE a.Age > = 18

我创建的表中有 NA 条目,但我假设过滤此表后,Age 列中不会有 NA,对吧?

【问题讨论】:

【参考方案1】:

不支持自我过滤和插入,但在 hive 中。

在您的情况下,我建议采取以下步骤:

1.创建一个类似的表,比如 tabB ,具有相同的结构。

create table tabB like tableA;

2.然后你可以应用你的过滤器并插入到这个新表中。

INSERT OVERWRITE TABLE tabB SELECT a.Age FROM TableA WHERE a.Age > = 18

希望这会有所帮助。

【讨论】:

是的,这绝对有帮助。另外,如果我有多个 Age 列(代表一个家庭中的不同成员),我将如何在执行 INSERT OVERWRITE TABLE 时选择多个列? 在插入覆盖表后添加任何逻辑,一个大子查询

以上是关于Hive 插入覆盖表的主要内容,如果未能解决你的问题,请参考以下文章

Hive:插入覆盖多个分区

hive中怎么把文本插入表中

hive多表插入

向Hive表中插入覆盖保存的记录少于实际记录数

在分区 hive 表中插入 spark Dataframe 而不会覆盖数据

Spark 是不是支持插入覆盖静态分区?