从数据块 DBFS 中删除记录

Posted 2023-04-15

【中文标题】从数据块 DBFS 中删除记录

【英文标题】：Delete record from databricks DBFS

【发布时间】：2021-07-08 15:33:02

【问题描述】：

我正在尝试删除位于 DBFS 中的 Databricks Delta Lake 中的一些记录。我只有路径。没有保存为表格，有没有办法从增量文件中删除记录？

谢谢

【问题讨论】：

你能提供你想删除的例子吗？

从表中删除文件或记录？

我正在尝试从文件中删除记录，而不是从表中删除记录

【参考方案1】：

更新答案：

Delta Lake 能够使用DELETE FROM 命令执行删除，因此您只需要提供正确的WHERE 条件来匹配您要删除的记录（放置真实路径而不是<path-to-delta-table>）：

DELETE FROM delta.`<path-to-delta-table>` WHERE your_condition

第一版答案，更新前：

DBFS is the file system，上面的项目是文件和目录。您可以使用 %fs rm file_name (docs) 或 Python 或 Scala 中相应的 dbutils.fs.rm("file_name") 命令删除文件和目录（请参阅 docs）。您甚至可以通过Databricks CLI、直接从您的计算机或通过 REST API 进行操作。

DBFS 中的另一个对象是挂载点，有special commands。如有必要，您可以卸载挂载点