Databricks 增量表与 SQL Server 增量表

Posted

技术标签:

【中文标题】Databricks 增量表与 SQL Server 增量表【英文标题】:Databricks Delta tables vs SQL Server Delta table 【发布时间】:2021-01-13 06:00:47 【问题描述】:

Sql Delta 表和Databricks Delta 表有区别吗?看起来对于 SQL,我们在概念上使用该名称。存储Base表差异的表是Delta。数据块也一样吗?

【问题讨论】:

它们完全不同。您能否提供对“SQL Delta Table”的参考,因为这是一个概念性的东西,而 databricks delta 是一个实际的产品 wapshere.com/missmiis/how-to-make-a-sql-delta-table 除了databricks delta自动执行此操作外,其他概念相同,但我认为它没有插入/更新/删除标志,只是一个“时间点”视图 【参考方案1】:

不,Databricks Delta 是一种存储层,它提供 ACID 事务和其他改进来存储大量数据以供 Apache Spark 使用。它用于存储完整的数据集,必要时可以更新。 Delta is open source project,Databricks 平台提供了一些增强功能。

【讨论】:

以上是关于Databricks 增量表与 SQL Server 增量表的主要内容,如果未能解决你的问题,请参考以下文章

将 Azure Databricks 增量表迁移到 Azure Synapse SQL 池

Databricks 无服务器计算机 - 写回增量表

Databricks - 从增量表写入流到 orc 文件的读取流仅具有更改

如何在使用 SQL 数据块时基于现有的增量表将 NULL 列添加到新表?

通过 Python 中的 Databricks api 读取 Databricks 表?

Databricks 正在“更新 Delta 表的状态”