从 hdfs 中删除文件是不是会删除相应的 hive 外部表分区?

Posted

技术标签:

【中文标题】从 hdfs 中删除文件是不是会删除相应的 hive 外部表分区?【英文标题】:Does the deletion of files from hdfs removes corresponding hive external table partitions?从 hdfs 中删除文件是否会删除相应的 hive 外部表分区? 【发布时间】:2018-10-08 13:45:11 【问题描述】:

我有一个 hive 外部表,它每天动态创建分区。

为了释放内存空间,我打算从hdfs中删除一些文件。

从 hdfs 中删除文件是否也会删除相应 hive 表的分区? (或)我们是否需要显式删除 hive 表的分区?

【问题讨论】:

【参考方案1】:

您必须单独删除分区。我建议先使用 hive 命令删除分区,然后再删除文件。

【讨论】:

感谢您的建议。

以上是关于从 hdfs 中删除文件是不是会删除相应的 hive 外部表分区?的主要内容,如果未能解决你的问题,请参考以下文章

从 HDFS 中删除文件不会释放磁盘空间

即使从 hdfs 删除后,Hive 如何读取数据?

Eclipse 上传 删除 下载 分析 hdfs 上的文件

恢复HDFS文件删除后的方法

如何在不删除源文件的情况下将数据从 HDFS 加载到配置单元?

hadoop中怎么创建文件夹?