从 blob 存储到 azure 表存储的增量负载

Posted 2023-02-19

技术标签:

【中文标题】从 blob 存储到 azure 表存储的增量负载【英文标题】：incremental loads from blob storage to azure table storage 【发布时间】：2021-12-17 14:10:02 【问题描述】：

我有以下情况。（一个相当常见的，但我不完全确定从哪里开始）

我有数据传入 blob 存储容器（我们的原始区域）。这些文件每天都会被丢弃在原始区域（有人坐在某个地方）。每天都有新文件进来，旧文件会被覆盖，但记录的数量会增加。

假设昨天的客户文件可能有 100 条记录，今天的文件可能有 150 条记录。（昨天有 100 个，今天有 50 个）。

现在，进行增量加载（或欢迎其他解决方案）以将最新数量的记录移动到 azure 表存储中的最佳方法是什么。

我在从 sql 加载数据或将数据加载到 sql 时使用过水印等，但对 Azure 表没有太多经验。如果我能得到领导将不胜感激。

提前致谢。

【问题讨论】：

【参考方案1】：

您可以使用 ADF 通过水印对 Azure 表存储进行增量加载。请参考以下链接，您可能需要根据要求稍微调整实现。

Incrementally load data from Azure SQL Database to Azure Blob storage using the Azure portal

Copy data to and from Azure Table storage using Azure Data Factory or Synapse Analytics

【讨论】：

以上是关于从 blob 存储到 azure 表存储的增量负载的主要内容，如果未能解决你的问题，请参考以下文章