Spark 是不是支持插入覆盖静态分区？

Posted 2023-04-15

【中文标题】Spark 是不是支持插入覆盖静态分区？

【英文标题】：Does Spark support insert overwrite static partitions?Spark 是否支持插入覆盖静态分区？

【发布时间】：2014-11-04 20:09:50

【问题描述】：

我注意到在当前的 Spark Sql 手册中不支持插入到动态分区中：

Hive 的主要功能

Spark SQL 当前不支持使用动态分区插入表。

但是，是否支持在静态分区中插入/覆盖？

【参考方案1】：

Spark SQL 目前不支持从 spark 1.1 版本开始使用动态分区插入表

支持静态，需要在hive表位置写入数据。

【讨论】：

所以使用“插入覆盖表表名分区...”的现有 Hive 查询可以工作，对吗？抱歉，还没有要测试的环境设置。

【参考方案2】：

根据release notes，Spark 1.2.0 支持动态分区插入。参考SPARK-3007。