Databricks 正在“更新 Delta 表的状态”

Posted 2023-04-15

【中文标题】Databricks 正在“更新 Delta 表的状态”

【英文标题】：Databricks is "Updating the Delta table's state"

【发布时间】：2021-11-01 08:40:07

【问题描述】：

我正在从 Datalake 读取并连接多个 delta 表，并将结果存储回另一个 Deltalake 位置。这样做时，Databricks 向我展示：

根据我相互连接的增量表的数量，这可能需要很长时间。即使是艰难的加入本身也只需要几分钟，状态更新需要长达一个小时。

当我看到Updating the Delta table's state 时发生了什么？我可以以某种方式对此进行优化吗？

【问题讨论】：

您可以参考：docs.databricks.com/delta/optimizations/file-mgmt.html

【参考方案1】：

谢谢Karthikeyan Rasipalay Durairaj，发布您的建议作为帮助其他社区成员的答案。

更新 Delta 表的状态。

命令状态报告意味着，

在每次查询开始时，增量表会自动更新为最新版本的表。 Delta Lake 以优化的频率将 checkpoints 写入 Delta 表的聚合状态。 Databricks 使用嵌套类型优化了高阶函数和 DataFrame 操作的性能。 有关 Databricks SQL 优化命令参考信息的 Delta Lake，请参阅 Databricks 运行时 7.x 及更高版本：OPTIMIZE (Delta Lake on Databricks) Databricks 运行时 5.5 LTS 和 6.x：Optimize (Delta Lake on Databricks)

【讨论】：

每当我写东西时总是优化表真的有意义吗？在将几件事写入表之后关闭它并进行优化不是很有意义吗？那么它只会优化一次。