Databricks 增量表与 SQL Server 增量表
Posted
技术标签:
【中文标题】Databricks 增量表与 SQL Server 增量表【英文标题】:Databricks Delta tables vs SQL Server Delta table 【发布时间】:2021-01-13 06:00:47 【问题描述】:Sql Delta 表和Databricks Delta 表有区别吗?看起来对于 SQL,我们在概念上使用该名称。存储Base表差异的表是Delta。数据块也一样吗?
【问题讨论】:
它们完全不同。您能否提供对“SQL Delta Table”的参考,因为这是一个概念性的东西,而 databricks delta 是一个实际的产品 wapshere.com/missmiis/how-to-make-a-sql-delta-table 除了databricks delta自动执行此操作外,其他概念相同,但我认为它没有插入/更新/删除标志,只是一个“时间点”视图 【参考方案1】:不,Databricks Delta 是一种存储层,它提供 ACID 事务和其他改进来存储大量数据以供 Apache Spark 使用。它用于存储完整的数据集,必要时可以更新。 Delta is open source project,Databricks 平台提供了一些增强功能。
【讨论】:
以上是关于Databricks 增量表与 SQL Server 增量表的主要内容,如果未能解决你的问题,请参考以下文章
将 Azure Databricks 增量表迁移到 Azure Synapse SQL 池
Databricks - 从增量表写入流到 orc 文件的读取流仅具有更改
如何在使用 SQL 数据块时基于现有的增量表将 NULL 列添加到新表?